Cómo doblar tus vídeos a otros idiomas con IA sin perder tu voz

La primera vez que me escuché hablando en inglés sin haberlo grabado, se me puso una cara rara. Era mi voz. Mi acento, mi forma de subir el tono al final de las frases, mis silencios. Pero yo no había dicho eso nunca.

El doblaje con IA ha pasado de ser un truco curioso a ser algo que se puede publicar. No siempre y no en todos los casos, pero se puede. Te cuento cómo se hace, qué cuesta y dónde sigue cantando.

¿Cómo doblo mis vídeos a otro idioma?

El proceso tiene tres partes y conviene entenderlas por separado, porque cada una puede salir bien o mal de forma independiente.

Uno: la traducción. El texto de lo que dices, pasado al otro idioma. Aquí no basta con traducir palabra por palabra: hay que adaptar, porque lo que dura ocho segundos en español dura once en polaco y ya no te cuadra con la imagen.

Dos: la voz. Generar el audio en el otro idioma con tu voz clonada. Esta es la parte que mejor funciona hoy, con diferencia.

Tres: la sincronía. Que el audio nuevo encaje con el vídeo. Y aquí hay dos niveles: que cuadre en tiempo (relativamente fácil) y que cuadre con el movimiento de la boca (más complicado y más caro).

Hay herramientas que hacen las tres cosas de una tacada. Yo prefiero hacerlas por separado, porque así controlo la parte que más se estropea, que es la traducción.

La voz: clonar la tuya

Para la voz uso Eleven Labs, que es donde está la mejor calidad hoy y donde el español suena a español y no a locutor neutro de documental.

Clonar tu voz son unos minutos de audio tuyo limpio. Limpio de verdad: sin música, sin ruido de fondo, sin eco de habitación. La calidad del clon depende casi por completo de la calidad de esa muestra, así que grabar cinco minutos con buen micro y en un sitio silencioso rinde más que subirle una hora de vídeos con ruido.

Y lo que más impresiona: el clon funciona en idiomas que tú no hablas. Coge el timbre de tu voz y lo usa para hablar en otro idioma con la pronunciación de ese idioma. Es raro escucharse hablando polaco con soltura.

Un detalle que se nota mucho y que casi nadie ajusta: la estabilidad. Si la pones alta, la voz sale muy uniforme y suena a lectura. Si la bajas, tiene más vida pero de vez en cuando hace cosas raras. Para vídeos de hablar a cámara, yo la dejo en la parte baja del medio y acepto tener que regenerar alguna frase.

La imagen: la boca

Aquí es donde entra HeyGen y herramientas parecidas: además de poner el audio nuevo, retocan el movimiento de la boca para que encaje con lo que se está diciendo.

Y funciona sorprendentemente bien en plano fijo, con la cara centrada y buena luz. Lo suficiente como para que alguien que no está buscando el truco no lo note.

Deja de funcionar en cuanto te mueves mucho, te tapas la cara con la mano, giras la cabeza o hay poca luz. Ahí la boca hace cosas de dibujo animado y el efecto se rompe del todo. Es peor que no doblar: la sensación de algo extraño espanta al espectador aunque no sepa decir por qué.

Mi criterio: para vídeos de cámara fija y hablar a plano, sí. Para vídeos grabados en la calle o con mucho movimiento, dejo el audio doblado y no toco la imagen. Un vídeo con voz doblada y boca sin sincronizar se acepta perfectamente si el contenido es bueno. Una cara deformada, no.

La traducción: la parte que hay que revisar

Esta es la parte que más se descuida y la que más daño hace.

La traducción automática te va a traducir literalmente tus expresiones. Y tus expresiones son la mitad de tu personalidad. Una frase coloquial española traducida palabra por palabra al inglés no significa nada, o significa algo raro.

Lo que hago: reviso el texto traducido antes de generar el audio, con dos criterios. Que las expresiones estén adaptadas, no traducidas. Y que la duración por bloque se parezca a la del original, para que no se me descuadre el montaje.

Si no hablas el idioma de destino, esta parte necesita a alguien que sí. Un hablante nativo revisando el texto media hora vale más que la herramienta más cara del mercado.

Cómo lo hago yo, paso a paso

Por si quieres el proceso tal cual, sin adornos.

Saco la transcripción del vídeo original con marcas de tiempo. Casi cualquier herramienta de subtítulos te la da, y las marcas son importantes para lo que viene después.

Traduzco por bloques, no el texto entero de una vez, y pidiendo explícitamente que adapte las expresiones y respete la duración aproximada de cada bloque. El texto entero de golpe se traduce más plano y pierde las marcas.

Reviso el texto traducido. Esta es la parte que no me salto nunca, aunque sea con ayuda de alguien que domine el idioma.

Genero el audio por bloques, no el archivo completo. Si una frase sale rara, regenero esa y no las cuarenta.

Monto el audio nuevo sobre el vídeo, cuadrando con las marcas de tiempo del original. Aquí es donde se ve si la traducción respetó las duraciones o no.

Y lo escucho entero antes de publicar. Siempre. Es media hora que te ahorra publicar algo con tu voz diciendo una barbaridad en un idioma que no entiendes.

Lo que se te va a atascar

Los nombres propios y las marcas. El sistema los pronuncia según las reglas del idioma de destino y suenan fatal. Nombres de herramientas, nombres de personas, tu propio nombre. Hay que corregirlos a mano, escribiéndolos como se pronuncian.

Los números y las siglas. Mismo problema, con más frecuencia de la que te imaginas.

La entonación de las preguntas. Sale plana bastante a menudo. Se arregla regenerando esa frase sola con la puntuación bien puesta.

El coste. Se paga por caracteres o por minutos según la herramienta, y doblar el catálogo entero de un canal es una factura seria. Empieza por tres vídeos y mira qué pasa antes de meter dinero.

El canal aparte. Puedes doblar dentro del mismo vídeo con pistas de audio adicionales o montar un canal por idioma. Son dos estrategias distintas con consecuencias muy distintas, y esa decisión pesa más que la herramienta. Lo desarrollo en traducir tu canal a otros idiomas.

Decirlo o no decirlo. Yo lo digo. En la descripción, una línea explicando que el doblaje está hecho con IA a partir de mi voz. La gente lo agradece y evita el momento incómodo de que alguien lo descubra y se sienta engañado.

¿Merece la pena?

Depende de si tienes demanda en otro idioma o te la estás imaginando.

Mira tus estadísticas antes de gastar un euro. Si tienes público real en un país donde no se habla tu idioma, hay algo que rascar. Si no lo tienes, doblar no te lo va a crear: el doblaje amplifica algo que ya funciona, no arranca algo desde cero.

Y si decides probar, empieza por tus tres vídeos que mejor han funcionado. No por los nuevos. Lo que ya funciona en un idioma es lo que tiene más posibilidades de funcionar en otro.

El paso a paso concreto de la clonación de voz, con los ajustes que uso y los fallos que se cometen al empezar, lo tengo en el tutorial de voz clonada con ElevenLabs. Y el resto del flujo de producción está en herramientas del creador con IA.

Algunos enlaces de este artículo son de afiliado: si contratas la herramienta, me llevo una comisión sin que a ti te cueste más.

Si andas perdido con qué herramientas de IA tienen sentido para lo que haces tú, hice un test corto que lo aclara en dos minutos.

Hacer el test de IA