El software que ha creado esta demo de «doblaje nativo» de la misma charla en inglés y luego en francés, mandarín y portugués con movimiento de los labios incluidos se llama ENACT y es de una empresa llamada Synthesia:

ENACT permite traducir lo que dicen las personas sin los problemas del doblaje o del subtitulado. El doblaje nativo puede traducir un vídeo y mediante inteligencia artificial sincronizar los movimientos de los labios con los de otro actor o actriz (no necesariamente la misma persona) para generar el nuevo «diálogo». El objetivo es eliminar la barrera del lenguaje para que se pueda llegar a audiencias mucho más grandes.

Aunque mencionan a los youtubers influencers como clientes objetivos del invento (WTF!?) parece claro que podría tener utilidad no sólo en las grandes superproducciones de Hollywood, sino en otro tipo de producciones de vídeo si tiene el precio adecuado. El método es ingenioso y muy parecido al que ya hemos visto para crear fake videos con políticos o gente bailando: un modelo con el que se entrenan los movimientos básicos y la adaptación del rostro reconocido de la imagen original para generar los movimientos necesarios.

Me pregunto si pasaría la prueba ante alguien que sepa leer los labios; tal vez haya algún lector o lectora que lea los labios en francés, mandarín o portugués y nos pueda decir. A simple vista parece bastante creíble, especialmente el portugués.
# Enlace Permanente