Labios y voz perfectamente sincronizados en las películas dobladas: eso prometen los deepfakes de esta compañía
Jose García
Aunque normalmente asociamos los deepfakes acosas un tanto turbiasy alos memes, lo cierto es que esta interesante tecnología puede tener usuarios potencialmente interesantes (más allá deponer a Elon Musk a cantar ‘Never gonna give you up’). Uno de estos casos de uso es el que propone Flawless AI con su sistemaTrueSync, un modelo de deepfakes quepromete sustituir los labios de los actores para hacer que su movimiento esté sincronizado con el doblaje.
Según explican desde la compañía, su inteligencia artificial es capaz de crear “visualizaciones perfectamente sincronizadas con los labios en varios idiomas”.El resultado final es muy interesante, al menos en los vídeos de prueba que ha publicado la empresa. No solo porque modifica los labios, sino porque la tecnología, aparente, es capaz de conservar las expresiones faciales del actor.
Del inglés al español y sin que se note
Doblaje de ‘Forrest Gump’ al español.
Doblaje de ‘Forrest Gump’ al japonés.
Tal y como podemos ver en el vídeo de presentación, lo que TrueSync hace es analizar la cara del actor, detectar el movimiento de la misma, renderizar la cara mediante redes neuronales y aplicarla encima de la cara del actor.Es, digamos, una especie de máscara. El sistema lleva años en desarrollo y no fue hastahace tres díasque la empresa lo lanzó de forma comercial.
En los vídeos sobre estas líneas podemos ver dos clips de la película’Forrest Gump', donde aparece un muy joven Tom Hanks. La película original está grabada en inglés, pero en los vídeos podemos verladoblada al español y al japonés. El resultado es bastante bueno y convincente, no cabe duda, pero hay algunos aspectos que delatan que es un montaje.
Puede apreciarse en los dientes de Tom Hanks cuando el plano se cierra (a partir del minuto 1:50) y cuando se le cae la lágrima casi al final del vídeo. Aunque esta cae hasta los labios sin problema, cuando Hanks vuelve a hablar, la máscara tiene un pequeño fallo que hace que la lágrima se expanda por todo el labio superior y queel labio inferior se deforme.
Como toda tecnología, cabe esperar que mejore con el paso del tiempo. Ahora tocará esperar para ver si, finalmente, se abre camino en productos comerciales para la gran y pequeña pantalla. Todo sea dicho, esto no es algo estrictamente nuevo, ya que a su maneralo vimos funcionando en ‘Cyberpunk 2077’. Dicho juego cuenta con un sistema de IA quesincroniza los labios de los personajescon sus diálogos en diez idiomas distintos.
Vía |Gizmodo
