Probamos AiTuTu, el nuevo benchmark de AnTuTu para medir el rendimiento de la inteligencia artificial en el móvil

Hablar de benchmarks móviles es casi lo mismo que hablar de AnTuTu. Se trata de una aplicación que mide el rendimiento de los móviles en diferentes escenarios para, posteriormente, otorgar una puntuación y compararla con el resto de dispositivos. Hasta el momento, la aplicación se centraba en rendimiento puro y duro, pero ahora la compañía ha ido un paso más allá con el lanzamiento de AiTuTu.

Como habrás podido adivinar por el nombre, AiTuTu es un benchmark que mide el desempeño de la inteligencia artificial en cualquier dispositivo Android. Este consta de dos fases: clasificación de imágenes y reconocimiento de objetos. Hemos podido acceder al archivo APK de AiTuTu para probarlo por nosotros mismos en varios dispositivos, por lo que vamos a ver cómo funciona y qué resultados arroja en cada uno de ellos.

Lo primero: ¿cómo funciona?

Lo primero que ha de destacarse es que no existe un estándar universal para medir el rendimiento de la inteligencia artificial y que cada fabricante la entiende de una forma. Desde AnTuTu citan el ejemplo de Qualcomm y Huawei. Mientras los procesadores de la primera empresa ejecutan las tareas de IA a través del DSP interno del procesador, Huawei implementa en sus procesadores Kirin una NPU (Unidad de Procesamiento Neuronal).

Además, cada fabricante tiene su propio SDK, es decir, su propio kit de desarrollo. Qualcomm tiene SNPE (Snapdragon Neural Processing Engine), MediaTek tiene NeuroPilot, NVIDIA tiene Tensor RT... En pocas palabras, lo que han hecho desde AnTuTu es crear un estándar unificado en colaboración con los principales fabricantes. El resultado ha sido una prueba que se ha desglosado, como decíamos antes, en dos categorías: clasificación de imágenes y reconocimiento de objetos.

La clasificación de imágenes está basada en la red reuronal Inception V3, que tiene una base de datos de 200 imágenes, mientras que el reconocimiento de objetos usa la red MobileNet SSD, cuyo banco de pruebas consta de un vídeo con 600 fotogramas. La puntuación depende de la velocidad y la precisión con la que la IA del móvil sea capaz de ejecutar las tareas de reconocimiento. Eso sí, se sufre una sanción en la puntuación si el reconocimiento es rápido pero la precisión escasa.

Las pequeñas excepciones

Desde AnTuTu establecen también una serie de casos especiales. El primero es que los resultados entre distintos procesadores que usen un procesadoa de IA similar no variarán demasiado. En otras palabras, el Snapdragon 845 y el Snapdragon 710 son diferentes en potencia pero usan el mismo DSP, que es el que procesa las tareas de IA. Los resultados entre uno y otro no deberían ser muy distintos.

Cuando analizamos un smartphone Samsung, dado que la compañía no ha lanzado todavía su SDK, lo que en realidad se analiza es el rendimiento de la CPU. Dado que su labor no es ejecutar tareas de IA, desde AnTuTu advierten que los resultados serán bajos y que mejorarán cuando el SDK se libere. Algo similar ocurre con algunos Kirin, que siguen usando el proceso TFLite para algunos cálculos, generando puntuaciones bajas.

Finalmente, destacan que los móviles con Android 9 Pie deberían tener una puntuación mayor que los dispositivos con Android 8 Oreo. Eso se debe a que Google "ha estado optimizando el soporte para inteligencia artificial a nivel de sistema". Con esto presente y en cuenta, veamos cómo funciona.

Hora de poner esa IA a prueba

Lo primero que hace el benchmark es descargar un paquete de datos de 160 MB. Básicamente está descargando las imágenes y el vídeo mencionados anteriormente. Eso solo lo hace la primera vez, pero mejor conectarse al WiFi antes de empezar. A continuación verifica los recursos de anteligencia artificial y comienza el test.

Empieza el reconocimiento de imágenes. Aparecen seis categorías en la zona superior (tranporte, electrónica, comida, animales y plantas, deportes y otros) y una enorme ristra de fotos abajo. El dispositivo analiza todas ellas y las va metiendo en uno de los apartados.

Posteriormente, aparece un vídeo de una carretera en el que la IA debe identificar los coches, un autobús, un camión, una persona, etc. El vídeo avanza frame a frame y te permite ver los objetos marcados en rojo con el nombre de lo que la IA cree que es. Algunas veces, la IA entiende que un bordillo es un coche o que un camión es un autobús, de ahí lo que decíamos antes sobre la precisión.

Cuanto termina el test, AiTuTu ofrece una puntuación global, una puntuación para reconocimiento de imágenes y otra para detección de objetos. A su vez, dentro de cada apartado puntúa la velocidad y la precisión. Más alto es mejor.

Nuestras pruebas

Hemos hecho la misma prueba en tres dispositivos: un Motorola Moto One, un Samsung Galaxy Note 9 y un Huawei P20 Pro, de forma que tenemos un móvil con NPU, un dispositivo con Android 9 Pie que procesa la IA en la CPU y un móvil básico sin funciones de inteligencia artificial. Los resultados han sido los que puedes ver en la tabla:

Durante el test era curioso ver cómo el Huawei P20 Pro reconocía las imágenes muy rápidamente, lo que se traduce en que es capaz de completar el benchmark en solo 1:43 minutos. Asimismo, parece que la NPU hace su trabajo y consigue que la puntuación global sea la más alta en todos los casos. Por otro lado, y a pesar de que el Motorola Moto One ha tardado casi el doble que el Samsung Galaxy Note 9, las puntuaciones globales son muy parejas.

No está de más recordar que estas puntuaciones son meramente orientativas y que, al no haber un estándar único para medir el rendimiento, no se puede decir que "un móvil sea mejor que otro" porque tiene más puntos en AiTuTu. Si quieres probarlo en tu dispositivo, puedes descargar el APK desde la web de AnTuTu.