Google explica cómo funciona el mapeado frontal de profundidad en tiempo real de los Pixel 4

Google va incorporando diferentes mejoras tanto de software como de hardware en sus teléfonos Pixel, al igual que el resto de su competencia, pero el caso de Google es diferente. El equipo de Mountain View dedica tiempo a explicarnos qué es lo que va haciendo, y también el porqué. Lo hizo con el modo de Astrofotografía, con el modo Retrato con cámara doble y también con la IA detrás de la transcripción de audios, entre otras cosas.

Ahora acabamos de asistir a una nueva explicación sobre el desbloqueo facial por infrarrojos de los Pixel 4. Un sistema que emplea hardware dedicado además de software, asemejándose al sistema instaurado en su momento por Apple con Face ID, pero con un giro 'a lo Google' y un explicación de los motivos de la elección de este sistema.

Mapas de profundidad con paralaje

Google explica que se plantearon inicialmente un sistema de reconocimiento facial por cámaras RGB, pero que el procesado de estas imágenes para lograr su propósito habría sido "computacionalmente caro". Es decir, requeriría de mucho esfuerzo por parte del procesador del teléfono obtener un resultado más sencillo a través de sistemas diferentes, de ahí que se optase por el sistema de infrarrojos.

Así, Google montó un sistema infrarrojo "estéreo" basado en dos sensores frontales en los Pixel 4, uno que funcionaría de forma más eficiente y rápida en la oscuridad. Nació el sistema uDepth, que no sólo permitía el reconocimiento facial sino que también evitaba la suplantación de identidad al tratarse de un sistema de lectura tridimensional mezclado con diversos algoritmos impulsados por inteligencia artificial.

Este sistema, de hecho, se ha abierto recientemente a otras aplicaciones gracias a la API Camera2, de forma que sus lecturas pueden emplearse para la mejora del desenfoque frontal para los selfies, así como otras funciones accesorias. De forma muy resumida, Google explica que su sistema uDepth se basa en lo que se conoce como paralaje. El paralaje no es otra cosa que la desviación angular de la posición aparente de un objeto, dependiendo del punto desde el que se observe.

Una fuente de luz infrarroja, dos "ojos"

Con este concepto en mente, Google monta un único emisor de infrarrojos para proyectar sobre las superficies situadas frente al teléfono. Así se crea un sistema de puntos parecido al creado por los sistemas de Tiempo de Vuelo, los sensores TOF que ya hemos descrito muchas veces y que también se emplean tanto para reconocimiento de superficies como para fotografía. La diferencia es que junto a este emisor único se sitúan dos cámaras para captar el haz infrarrojo, una a cada lado del frontal del teléfono.

Así, la lectura del mapa infrarrojo se realiza desde dos puntos, lo que ayuda mediante algoritmos matemáticos a construir un mapeado tridimensional más preciso. De igual forma que los seres humanos (y muchas otras especies) leen la profundidad de las escenas gracias a la situación de cada uno de los ojos. Como explica Google, cuando un sistema como uDepth se calibra adecuadamente "las reconstrucciones generadas son métricas, lo que significa que expresan distancias físicas reales".

Google explica también que su sistema uDepth se autocalibra en el caso de detectar una caída severa en las desviaciones lógicas a la hora de captar las imágenes infrarrojas frente al equipo. El sistema se conecta además a una arquitectura de aprendizaje profundo o deep learning que se encarga de mejorar los datos obtenidos en bruto. Así se consigue construir un mapa tridimensional muy complejo a alta velocidad, y que es igual de eficiente con buena iluminación que sin ella.

Concluye Google explicando que uDepth produce un mapa de profundidad en tiempo real a 30Hz suave y válido tanto para fotografía como para vídeo. Esto permite que el procesado se aplique también a posteriori, no sólo durante la captura de la fotografía o el reconocimiento facial en el momento del desbloqueo. La aplicación de demostración para comprobar el funcionamiento de uDepth se encuentra en este enlace, aunque es únicamente válida para los Google Pixel 4 al depender del hardware del teléfono.

Más información | Google