Enfocar objetos y tenerlos en Photoshop: este proyecto nos enseña una evolución del copiar y pegar
Enrique Pérez
Editor especializado en tecnología de consumo y sociedad de la información. Estudié física, pero desde hace más de diez años me dedico a escribir sobre tecnología, imagen y sonido, economía digital, legislación y protección de datos. Interesado en aquellos proyectos que buscan mejorar la sociedad y democratizar el acceso a la tecnología.LinkedIn
Copiar y pegar con objetos reales. Enfocar un libro, una prenda de ropa o una planta con la cámara del móvil y poderpegar esa imagen del objeto en Photoshop. Es el proyecto creado por el diseñador y programadorCyril Diagnede Google Arts y ex-director del ECAL Media & Interaction Design de la Universidad de Lausanne.
La aplicación combina reconocimiento de imágenes y machine learning para poder elegir elementos de nuestro entorno y pegarlos en un software de edición de imagen.Por el momento únicamente funciona con Photoshopy se encuentra en fase de desarrollo, no disponible de manera comercial, pero según explica el creador en el futuro podría funcionar con otros programas de edición.
Una gran demostración de las posibilidades de la cámara del móvil y la IA
El creador ha explicado en su cuenta personal de Twitter cómo funciona el proyecto. Se basa en tres módulos independientes. En primer lugar tenemosla aplicación para el móvil, encargada de enfocar al objeto que queramos copiar y poder capturar la imagen que luego será trasladada.
4/10 - Cut & paste your surroundings to PhotoshopCode:https://t.co/cVddH3u3ikBook:@HOLOmagazineGarment: SS17 by@thekarentopacioType: Sainte Colombe by@MinetYoann@ProductionTypeTechnical Insights: ↓#ML#AR#AI#AIUX#Adobe#Photoshoppic.twitter.com/LkTBe0t0rF
La segunda parte es el servidor que actúa como interfaz entre la aplicación móvil y Photoshop. En este punto es donde encuentra la posición en la pantalla utilizandoScreenpoint. Finalmente tenemos el servicio de eliminación del fondo y la detección del objeto. Y es que con esta aplicaciónlo que trasladamos a Photoshop es un objeto en concreto, no toda la imagen.
Para la detección del objeto se ha utilizado un sistema basado en machine learning que está configurado sobre el servidor. Se trata deBASNet(‘Boundary-Aware Salient Object Detection’), un sistema abierto de redes neuronales desarrollado porXuebin Qin durante la CVPR 2019.
And again, the OpenCV SIFT trick to find where the phone is pointing at the screen.I also packaged it as a small python library:https://t.co/en0EyGSklpSend a camera image + a screenshot and you get accurate x, y screen coordinates!pic.twitter.com/OOCFrrZseZ
Según describe el autor,la latencia es aproximadamente de 2,5 segundos para cortar el objeto y de unos 4 segundos para pegarloen Photoshop.
La combinación de estas tecnologías no es nueva. Es una de las bases de aplicaciones comoYouCam Makeupque permiten identificar un objeto, en ese caso nuestro rostro, y aplicar un efecto.
El mes pasado Google nos mostrabaMediaPipe Objectron, una tecnología móvil para detectar objetos 3D en tiempo real y modelizarlos para crear imágenes.
En Xataka |La realidad aumentada ante el dilema de las promesas incumplidas
