La cámara del Pixel 2 XL es impresionante. ¿Cómo es posible que haga tan buenas fotos? Además de una mejora de los sensores también es clave el procesado que se haga de ellas. Aquí es donde entra en juego uno de los campos donde Google está invirtiendo más recursos; el machine learning, la inteligencia artificial y las redes neuronales.
Estos algoritmos permiten identificar la imagen, reconocer objetos y reducir el ruido eliminando efectos de desplazamiento innecesarios, artefactos extraños y realzando texturas. Es un trabajo que evoluciona constantemente y ya somos capaces de identificar paisajes e incluso emociones, esto permite adaptar los ajustes de cada foto a lo que el tipo de imagen requiere.
Si es un rostro se apuesta por un modo belleza, si es una escena nocturna se potencian las luces y si es un rostro se identifica la emoción y se aplica un procesado en concordancia. Y es que aunque tomar una foto sea cuestión de segundos, el móvil realiza millones de operaciones antes de mostrarla.
NIMA: no solo identifica, también puntúa
NIMA: Neural Image Assessment es una red neuronal entrenada para predecir qué imágenes son más bonitas (técnicamente) y atractivas (estéticamente). ¿Cómo lo consigue? Es un conjunto de parámetros basados además del reconocimiento de objetos, en la categorización de las imágenes y de cómo el humano percibe estas fotos.
Para poder establecer estos criterios se basan en un conjunto de fotos ideales. Es decir, si haces una foto a un atardecer, NIMA es capaz de identificarlo y compararlo con el patrón ideal. En caso que no se llegue a identificar la escena, se utilizan modelos estadísticos para predecir la calidad de la imagen.
Una vez Google cómo sería el ideal de esta foto, el procesado trabaja sobre la imagen original para reducir los defectos que la alejan del patrón ideal.
Muchos procesados pueden determinar si una foto o alguna de sus partes está bien o se ve borrosa. En este caso Google NIMA puede establecer un criterio que va del 1 al 10 y puntuar cada foto según su calidad. Siendo este criterio incluso más preciso que muchas preferencias humanas.
En un concurso con doscientas personas que se pidió valorar múltiples fotos y las puntuaciones se acercaron tremendamente a las establecidas por NIMA.
Esta potencia no solo sirve para clasificar diversas imágenes, también para saber dentro de un mismo set de imágenes cuál es la mejor definida. Es la primera parte para después poder producir imágenes mejoradas.
Al modificar el brillo, las sombras o la nitidez de algunas partes se puede modificar la puntuación NIMA. Es decir, el procesado de imágenes puede modificar los parámetros básicos de la foto y apostar por el que consigue una mayor puntuación de calidad.
El siguiente gran salto fotográfico en las cámaras móviles
La cámara de Google es excelente, pero otros fabricantes como Huawei y su NPU también están apostando por estas redes neuronales para mejorar la calidad fotográfica. Los nuevos móviles de gama alta disponen de chips especializados precisamente en realizar estos trabajos de procesamiento para determinar cómo pueden mejorar sus fotos.
NIMA es solo un trabajo más de Google con el que ofrecer mejores imágenes. Pero no solo eso, con su categorización y puntuaciones podría permitir a los usuarios de Google Fotos por ejemplo encontrar las mejores fotos o recomendar optimizar alguna en concreto que tiene mucho potencial.
Es interesante ver como la guerra entre smartphones y cámaras compactas no solo se está reduciendo por motivos de movilidad y calidad de los sensores, sino precisamente porque los dispositivos móviles son cada vez más inteligentes.
Via | Google Research Blog
En Xataka Android | Google Fotos: probamos el reconocimiento de caras y las sugerencias para compartir que están prohibidos en Europa
