Microsoft Pix brinda un cerebro artificial a la cámara del iPhone
Por: John Roach
Como fotógrafo profesional de los Seahawks de Seatle, Josh Weisbergn corre alrededor el campo de futbol haciendo fotos de manera continua, se anticipa para la foto perfecta.
“Si ustedes ven lo que sucede y aún no están tomando fotos, es demasiado tarde, ya perdieron la toma”, dice Weisberg, quien es gerente principal de programa en el Grupo de Fotografía Computacional dentro de Microsoft Research. “Es posible que capturen 10 imágenes de nada interesante, pero lo es cuando se trata de una increíble foto de Russell Wilson lanzando el balón”.
Todos queremos esa foto increíble, de nuestros hijos, amigos, de nosotros mismos, y queremos llevarla en nuestro smartphone. Para conseguirlo, la mayoría de nosotros hace clic en el obturador y esperamos lo mejor. Con demasiada frecuencia, el resultado es decepcionante: los ojos cerrados, rostros borrosos, cabezas volteadas y sin sonrisas.
Weisberg y su equipo lanzaron una aplicación para iPhone que cambia el campo de juego. Pone la habilidad de un fotógrafo profesional en su bolsillo.
Microsoft Pix captura una ráfaga de 10 fotogramas con cada clic del obturador, algunos de ellos antes de presionarlo, y utiliza la inteligencia artificial para seleccionar un máximo de tres de los mejores. Antes de la eliminación de los cuadros restantes, la aplicación utiliza los datos de toda la ráfaga para eliminar el ruido y luego ilumina de forma inteligente rostros, embellece la piel y ajusta el color y el tono de la imagen. Estas imágenes mejoradas están listas en aproximadamente un segundo.
Mientras la aplicación selecciona y mejora de la mejor toma de la ráfaga, otro conjunto de tipos de algoritmos ordena, a través de marcos, para determinar si cualquier movimiento sería bueno para hacer un bucle de vídeo interesante dentro de la imagen, como el pelo de una persona levantado por el viento o la caída de agua de una cascada en el fondo. Si es así, la aplicación repetirá el movimiento específico para un efecto tipo Harry Potter llamado Live Image.
Weisberg dice que su motivación para la aplicación creció de la frustración de su esposa acerca de la calidad de las fotos que tomó de sus hijos con su iPhone. Eso hizo pensar a Weisberg.
“Teniendo en cuenta todo lo que el teléfono sabe acerca del usuario, ¿por qué no puede tomar mejores fotos?” recuerda al pensar.
Consciente de la experiencia de la fotografía computacional dentro de la organización de investigación de Microsoft, Weisberg vio una manera de “ofrecer más valor adicional” a los teléfonos inteligentes con capacidades fotográficas.
Fácil de usar
La interfaz de Microsoft Pix es intencionalmente sencilla, no hay modos o ajustes para seleccionar. La inteligencia de la aplicación opera entre bastidores, ayudando a los usuarios a tomar mejores fotos con un conjunto de herramientas minimalista.
“Están construyendo esto para las personas que no son fotógrafos, pero que les gusta tomar fotografías, y quieren tomar mejores imágenes, pero no quieren tomarse el tiempo para aprender cómo hacer mejores fotos”, dice Reed Hoffman, fotógrafo, consultor e instructor —basado en la ciudad de Kansas— de la Escuela de Fotografía Nikon, quien probó las versiones beta de Microsoft Pix.
La aplicación inicia capturando cuadros al momento de que se carga el visor y de manera inteligente selecciona los ajustes de exposición y enfoque. Si se detectan caras, todo el proceso está optimizado alrededor de ellas.
“Creemos que las personas son el tema más importante en las fotografías que toman,” dice Weisberg. Uno de los algoritmos que se ejecutan en segundo plano, por ejemplo, está capacitado para detectar si los ojos están abiertos o cerrados. Las imágenes borrosas o fotogramas con los ojos abiertos se clasifican más alto.
El detector de ojos abiertos se basa en un legado de la tecnología de reconocimiento facial que la mayoría de usuarios de teléfonos inteligentes aprenden de las cajas que las cámaras colocan alrededor de las caras en el visor, explica Neel Joshi del grupo de gráficos de Microsoft Research. Para Microsoft Pix, él y sus colegas redujeron el enfoque de algoritmos de reconocimiento facial para buscar las propiedades específicas de la cara, como si los ojos están abiertos o cerrados.
“Es este proceso evolutivo en el que toda la comunidad, la gente de aquí y del mundo académico, están mejorando lo que cada uno construyó antes”, dice Joshi. “Hay un progreso. Una gran parte del trabajo, una gran cantidad de la inteligencia, que se encuentra en Pix está construido con base en una larga serie de investigaciones de Microsoft”.
Inteligencia evolucionada
Live Image, por ejemplo, se deriva de un proyecto de investigación que encabezó Joshi después de las primeras fotos fijas con movimiento sutil llamadas “cinemagraphs“, que apareció en Internet en 2011. Esas imágenes, señala, se hicieron con una cámara sobre un trípode y editadas con mucho cuidado en Photoshop.
“Quisimos averiguar una manera más fácil”, dice.
La solución consiste en algoritmos que suavizan los efectos de temblor de las manos para eliminar la necesidad de un trípode, así como un conjunto de herramientas que ayudan al usuario a aislar regiones en la secuencia de tramas con un interesante bucle en movimiento. Esta tecnología se describe en un artículo de investigación publicado en 2012 y lanzado como una aplicación llamada Cliplets.
Los investigadores en el grupo de gráficos desarrollaron algoritmos para automatizar el bucle de video, que se describe en los artículos publicados en 2013 y 2015.
El video en bucle automático es la base para el código Live Image, pero corrió con demasiada lentitud en una aplicación de fotografía para teléfono inteligente, señala Joshi.
Para acelerar el proceso, se construyeron clasificadores que determinan selectivamente cuándo crear una Live Image (imagen en vivo), con lo que se ahorra poder de procesamiento y al tiempo sólo produce lo que los algoritmos consideran bucles atractivos. Repitiendo movimientos periódicos, como cuando se giran los pulgares y se agitan banderas, pero al mover una mano en una dirección no pasa la prueba, por ejemplo. El clasificador detecta candidatos al bucle en 50 milisegundos y las Live Images en directo se procesan dentro de los dos segundos después de haber presionado el obturador.
Microsoft Pix también se incluye con Microsoft Hyperlapse para móvil, una tecnología que Joshi desarrolló en 2015 para suavizar así como acelerar videos visualmente atractivos en los tiempos de lapsos. Ahora disponible en iOS, Microsoft Hyperlapse ya está disponible para Android y Windows Phone. Emplea algoritmos de estabilización de la imagen y selecciona de manera inteligente para mantener un flujo óptimo en lapsos de tiempo.
El efecto: “hacer videos, largos y aburridos de ver, menos nauseabundos y más fácil de compartir”, dice Joshi.
Microsoft Pix está integrado con el rollo de la cámara iPhone y funciona en los modelos más antiguos de iPhone incluyendo el 5S, no hay necesidad de actualizar el teléfono para tomar mejores fotografías, señala Weisberg.
Si volviera a fotografiar los partidos de fútbol profesional, sería comprensible que Weisberg use su gran cámara y diversidad de lentes. Pero para pasar un día con la familia y amigos, él estaría satisfecho con un teléfono inteligente en su bolsillo.
“Tener esos 10 cuadros, algunos incluso antes de tocar en el obturador, y tener la mejor toma escogida de manera automática aumenta la probabilidad de que voy a obtener una mejor fotografía”, dice.
Contenido relacionado:
Descarguen Microsoft Pix
Infografía: Ve la magia detrás de Microsoft Pix
Microsoft Hyperlapse hace que los videos en primera persona sean más sencillos y rápidos
Sígan a Josh Weisberg y Neel Joshi en Twitter