Google explica cómo funciona su 'Luz de Retrato', la iluminación con inteligencia artificial de los Pixel

Google es, ante todo, una empresa de desarrollo de software, sobre todo en lo que tiene que ver con sus productos basados en machine learning o, como se conoce de forma resumida, inteligencia artificial. Sus productos físicos, como sus teléfonos (propios o el ecosistema Android) o sus asistentes personales, parecen de hecho soportes para demostrar sus avances en IA.

De ahí que el equipo de Mountain View no dude en ir publicando cada cierto tiempo cómo funcionan, si excesivos detalles privados, sus funcionalidades. Ya hemos sabido cómo leen las capas para aplicar el modo retrato o cómo procesan el sonido para reconocer las canciones que tarareamos. Ahora volvemos al terreno fotográfico para que Google nos cuente cómo funciona su "Luz de Retrato", la luz artificial generada por la app de cámara de los Pixel.

Así funciona la "Luz de Retrato" de los Pixel

Como cuenta la propia Google, esta "Luz de Retrato" artificial está ya presente en las cámaras de los Pixel 4, Pixel 4 XL Pixel 4a, Pixel 4a 5G y Pixel 5 y permite cambiar la iluminación de las fotografías una vez capturadas. Se trata, como cabía esperar, de un modo de retoque fotográfico articulado con inteligencia artificial y Google explica cómo ha desarrollado el citado efecto.

El modo fotográfico de "Luz de Retrato" ha sido entrenado con un sistema de iluminación computacional llamado Light Stage que permite tanto la colocación automática de luz direccional en las fotografías como una reiluminación posterior, una vez que la fotografía está ya capturada.

Google cuenta que para entrenar a su Light Stage han fotografiado a miles de individuos en un set con 64 cámaras situadas en distintos puntos de vista, y usando 331 fuentes de luz LED programables de forma individual. Así, fotografiando a cada individual con una luz a la vez, la IA de Google ha podido generar retratos sintéticos con múltiples entornos de iluminación y entrenarse con ellos.

Para la iluminación de la escena, en vivo o de forma retroactiva, la cámara de los Pixel emplea el aprendizaje automático para estimar qué perfil de iluminación es el más adecuado para la fotografía que estamos tomando. La IA tras la cámara de Google evalúa la dirección, la intensidad relativa y el color de cada fuente de luz de la escena, además de la pose de la cabeza en el momento de la captura.

Así, Google estima cuál es la situación ideal para su luz generada sintéticamente y la coloca virtualmente fuera de escena, generando luces y sombras sobre la persona a fotografiar que realmente no están ahí, pero que son virtualmente indistinguibles de luces reales de un estudio de fotografía.

La ventaja de la IA de Google es que se sigue entrenando con cada fotografía que tomamos una vez el modo "Luz de Retrato" ya se ha liberado y es plenamente operativo. La IA oculta tras el escenario también supervisa cada detalle de la iluminación empleando modelos geométricos que le ayudan a reconocer la escena. Recordemos que, una vez capturada, la escena es completamente plana y Google la reconstruye tridimensionalmente para seguir jugando con la luz. El sistema es parecido al empleado para la separación de capas que aplicar al desenfoque.

Google considera que su "Luz de Retrato", entrenada con el sistema Stage Light, es sólo el primer paso en un viaje hacia los controles creativos de iluminación sobre fotografías ya capturadas con teléfonos móviles. Es de esperar, por tanto, que el machine learning del equipo de Mountain View siga evolucionando y que obtengamos, poco a poco, un modo de iluminación posterior mucho más eficiente que el actual.

Más información | Google