Esta IA solo necesita un garabato de una cara para crear un retrato fotorrealista
Jose García
La inteligencia artificial es capaz de muchas cosas. Lo mismointenta predecir el aspecto del Cybertruckde Tesla (con mayor o menor acierto) que intentaencontrar bombas ocultasorecrear Pac-Man desde cero. Las posibilidades son virtualmente ilimitadas. Ya existen sistemas de IA capaces derecrear caras de personas que no existen, pero unos investigadores chinos han desarrollado un sistema que va un poco más allá:recrea caras a partir de un garabato.
Esta tecnología ha recibido el nombre de DeepFaceDrawing (PDF) y su funcionamiento es de lo más interesante. Ya existen tecnologías capaces de recrear retratos, comoPix2pixoiSketchNFill, pero los resultados son bastante pobres. DeepFaceDrawingproduce imágenes realistasque, además, se generan en tiempo real y se van modificando conforme se añaden detalles al boceto.
De un trazo a una foto de alguien que no existe
Este sistema de deep learning consta detres módulos principales: CE (Component Embedding), FM (Feature Mapping) e IS (Image Synthesis). CE adopta una arquitectura de auto codificador y aprende por separado los grandes rasgos de una cara: el ojo izquierdo, el derecho, la nariz, la boca y “el resto”. FM e IS crean una subred de aprendizaje profundo que convierten los vectores en imágenes. Es decir, que la red está formada por dos subredes.
El módulo CE convierte los bocetos de los componentes (la nariz, ojos, barbilla) en vectores de características semánticamente significativas. FM convierte estos vectores en mapas de características individuales que se combinan según la estructura de la cara (los ojos arriba, la nariz centrada, la boca abajo…) y, finalmente, pasan al módulo IS, quesintetiza la imagen final. Es lo que se representa en el esquema superior.
La red fue entrenada con unlote de 17.000 pares de imágenes(bocetos e imágenes de caras), de las cuales 6.247 eran de hombres y 11.456 de mujeres. Con la red entrenada, los desarrolladores crearon una interfaz gráfica que permite hacer los garabatos y, sobre la marcha, “dibujar” el retrato. Es curioso cómo conforme se añaden más detalles (pelo corto, forma de las cejas, grosor de labios…) la IAva modificando el retrato para mantenerlo fiel al boceto. Además, la interfaz tiene unos controladores que permiten modificar los cinco rasgos faciales a placer.
Para poner a prueba los resultados, los investigadores llevaron a cabo un estudio de usabilidad con diez participantes. Estos calificaron sus habilidades de dibujo, resultando en cuatro novatos, cuatro avanzados y dos profesionales. Cada uno hizo diferentes bocetos en el sistema para generar un retrato y, como se puede comprobar en la imagen inferior,a mayor nivel de detalle en el boceto, más preciso es el retrato final.
Los investigadores opinan que su sistema tiene potencial para losprocesos de transformación de caras(combinar dos fotos para que una emule los gestos de la otra), que por norma general requieren deimágenes con un alto grado de correspondencia. Con esta IA, al menos sobre el papel, sería tan sencillo como dibujar el gesto a mano alzada.
Aseguran, además, que su sistema estáespecialmente diseñado para crear rostrosbasándose en la estructura fija de una cara, pero que adaptarlo a otras categorías (como objetos del día a día) es un “problema desafiante”. Salvando las distancias, ya hay tecnologías que permiten hace algo parecido, como el sistema de NVIDIA que escapaz de generar paisajes fotorrealistasa partir de un boceto.
Vía |SyncedReview
