Javier Pastor

Lainteligencia artificialno solo sirve parahumillarnos al Goocrear alucinantes(yno tan alucinantes) deepfakes: desde hace un tiempo se ha convertido en unapoderosa herramienta para devolvernos al pasado.

Lo demuestran la cada vez mayor cantidad de vídeos restaurados a través de técnicas de inteligencia artificial. Aquellas antiguas grabaciones cobran ahora nueva vida al sercoloreadas y adaptadas a resoluciones 4K, y el resultado es todo un viaje al pasado.

Así era la vida hace (más de) un siglo

Este tipo de vídeos comenzaron a aparecer compartidos en redes sociales recientemente. Hablamos por ejemplo aquel vídeo legendario de los Hermanos Lumière de 1896 que mostraba un tren llegando a la estación. Mostramos el vídeo original remasterizado, el vídeo reescalado y suavizado y,por último, el vídeo también con el color aplicado automáticamentecon el desarrollo DeOldify del que hablamos más adelante:

Un programador ruso llamado Denis Shiryaevaplicaba entonces dos tipos de procesosobre un vídeoya remasterizadoen 2017. El primero, el del escalado 4K a través de la plataformaGigapixel AIde Topaz Labs. El segundo, un generador de fotogramas interpolados llamadoDAINcreado por ingenieros de Google que también generaba esas imágenes para suavizar el vídeo.

Esos mismos resultados se aplicaban luego a otros espectaculares vídeos de Shiryaev, como por ejemploeste alucinante recorrido por las calles de la Nueva York de 1911a partir de unvídeo remasterizado en 2018que originalmente capturó la empresa sueca Svenska Biografteatern y que conserva incluso los sonidos de la época.

Como explicaba Shiryaev, además del proceso de ‘upscaling’ a 4K con unaESRGANy un suavizado a 60 FPS gracias al citado DAIN usó After Effects y algunos plugins para mejorar la definición y los detalles, y aplicó por último la red neuronal propuesta porun desarrollo llamado DeOlfidy para colorear estas imágenes.

El resultado es sencillamente prodigioso, y este tipo de técnicas han idoaplicándose a más y más vídeosde aquella primera época de la cinematografía.

El propio Shiryaev ofrece unos cuantos espectaculares muy antiguos de vídeos tomados en San Francisco en 1906, Amsterdam en 1922, Inglaterra en 1901 o Moscú en 1896, pero además perole hace un guiño a los vídeos en blanco y negro más relevantes del pasado algo más recientecon el del paseo en el rover lunar del Apollo 16.

La interpolación que da lugar a ese reescalado o sobreescalado es desde hace tiempo más conocida y los sistemas de inteligencia artificial han ayudado a acelerar y mejorar el proceso, pero las cosasse han puesto aún más interesantes a la hora de colorear esas imágenesy lograr que del blanco y negro pasemos a colores bastante convincentes.

DeOldify crea color donde (casi) no lo había

Jason Antic(https://twitter.com/citnaj), un apasionado del software, comenzó a investigar las llamadas redes generativas antagónicas (GAN) a principios de 2019. Como explicaban en elAI Podcast de NVIDIA, tras completar un curso online en Fast.ai para conocer cómo funcionaban las redes neuronales, inició un proyecto singular: el de tratar deaplicar esta rama de la inteligencia artificial a una tarea muy concretay convertir imágenes en blanco y negro a imágenes en color.

Su trabajo en este campo acabó dando un resultado espectacular:el proyecto DeOldify—con el código en GitHub para que cualquiera lo use— no solo colorea imágenes, sino que las restaura. No es, desde luego,el único proyectoen este sentido.

El proyectono solo funciona para imágenes individuales, sino que también es posible aplicarlo a vídeos a través de lasllamadas NoGAN, un nuevo tipo de sistema GAN que reduce el entrenamiento de la red neuronal y consigue resultados espectaculares que corrigen errores de la aproximación pura que aplicaba DeOldify.

El resultado de ese trabajo se puede aplicar a todo tipo de vídeos. Durante la conferencia Facebook F8 Antic demostró el resultado aplicado a un pequeño fragmento de la película ‘Psicosis’ de 1960, pero su aplicación se extiende a todo tipo de imágenes y vídeos, yha sido aprovechada para —entre otras cosas— transformar esos viejos vídeos de principios del siglo XXy lograr que del blanco y negro logremos disfrutarlos en color con unos resultados sorprendentemente convincentes.

En unalarga entrevista en Humans of Machine Learning—no os la perdáis— desvelaba muchas de las claves de su trabajo en este campo. Nunca había tratado de restaurar el color de una foto en Photoshop, por ejemplo, y al estudiar su curso de inteligencia artificial se dio cuenta de que el fallo al colorear imágenes automáticamente es quesiempre tenía que haber un humano que las revisaba para ver si estaban bien.

Eso hacía que la red neuronal fuera muy conservadora en sus predicciones, explicaba, pero con las GANs se podía hacer un coloreado realista con mucho menos esfuerzo y que a pesar de ser más “arriesgado” daba resultados mucho mejores. Aún así, destacaba que “no hay un único color válido para muchas cosas (como la ropa, por ejemplo)”, de modo que parte del proceso es “arte, y probablemente por eso es difícil lograr que una red neuronal lo haga bien”.

Este ámbito también es foco del trabajo de Robert Cross (@RobCross247), un experto en diseño y arquitectura digital que desde hace tiempo mantieneun proyectoen el quetransforma viejas fotos de Irlanda en blanco y negro a colorcon unos resultados fantásticos gracias a DeOldify.

Ese proceso, que hasta no hace mucho se hacía básicamente con programas de postprocesado de imágenes como Photoshop, ha avanzado notablemente gracias a la inteligencia artificial, y otroextenso post en FloydHubanaliza el proceso en este caso.Los resultados pueden ser mágicos, pero hay mucha ciencia tras ellos.

Pasar imágenes de blanco y negro a color se ha convertido para algunos en una interesante afición, y de hecho subrredits comoColorizationoColorizedHistoryse han convertido en un singular museo con los resultados que los usuarios que aplican estos procesos logran.Muchos de ellos son impactantes—aunque en muchos las fotos tengan cierto acabado “pictórico”—, y demuestran que esta técnica está ya realmente avanzada.

Un proceso que es en parte todo un arte

Más allá del debate sobre si este proceso traiciona el contenido original o no, lo cierto es que las imágenes que nos ofrecen estos métodos son espectaculares yhacen que esa visita al pasado sea mucho más asumible e impactante para todos los públicos. Acercan esos lugares y esos tiempos más que nunca.

Cities of the world at the beginning of the 20th century (and end of 19th century) Thread/Fil/Hilo#DeOldifyThank you@citnaj1. New York City 1911 part. 1pic.twitter.com/lq75O8r8mu

A pesar de que las técnicas para lograrlo son absolutamente nuevas,su aplicación es casi un pequeño arte en sí mismo. Un fantástico hilo reciente de Joaquim Campa rescataba fantásticos ejemplos del resultado de aplicar algunos de esos procesos en esos vídeos. Muchos de ellos están procesados con desarrollos con DeOldify, pero algunos están incluso retocados a mano. El resultado, en todo caso, es nuevamente mágico.

Como expliac Denis Shiryaev —que presenta su trabajo en Neural.love— en ese vídeo de San Francisco de 1906 (días antes del terrible terremoto que sacudió la ciudad) restaurado,hay unos cuantos componentes en acciónen dicha transformación.

Cualquiera puede hacerlo (pero una GPU bestial ayuda mucho)

Los algoritmos, como explicaba Shiryaev,son aún lentos y necesitan un hardware potentepara procesarse de forma más o menos rápida. Las modernas tarjetas gráficas ayudan cada vez en este ámbito, y de hecho NVIDIA llevamucho tiempoempujandoeste tipode aplicaciones tanto en su anterior familia GTX 1000como en las nuevasRTX 2000.

El propio Antic lo avisaba en lapágina de proyecto de DeOldify: para poder realizar estas tareas con cierta soltura es muy recomendable tener una tarjeta gráfica súper potente: él confiesa quele encantaría tener más de los 11 GB de memoria gráfica que tiene en su GeForce 1080 Ti para la fase de entrenamiento, aunque para el coloreado se pueden usar tarjetas más modestas con unos 4 GB de memoria gráfica.

En esa página de GitHub se explica cómo funciona todo el proceso, pero además Anticha preparado una guía con documentaciónquepermite comenzar a dar los primeros pasosen una tarea que sin duda es sorprendente. Así pues, si queréis animaros ahí tenéis una buena forma de hacerlo.

Imagen |DanielFarjoun