¿Por qué los benchmarks Android que se filtran no son tan importantes como parece inicialmente?

En la mayoría de ocasiones en las que se espera el lanzamiento de un terminal acaba habiendo cierta rumorología sobre cómo será o cómo rendirá y, de manera casi certera, acaban apareciendo benchmarks filtrados.

En Xatakandroid queremos dar un contrapunto a repetida constante afirmando que esta información no es tan importante como parece inicialmente y explicando los diversos factores que nos llevan a ello.

¿Origen legítimo / fiable? Imposible comprobarlo

Cuando hay una comunicación de una información cualquiera tenemos varios puntos en la cadena de transmisión de esos datos. El primero de ellos es el emisor y en el caso de una filtración son orígenes anónimos, poco conocidos e incluso imágenes con poca definición o con partes tapadas.

¿Debemos fiarnos de esas fuente? Lo que la intuición dice es que pasemos a juzgar según la experiencia anterior con el canal de donde proviene ese emisor. Es decir, si ha habido filtraciones previamente y finalmente fueron datos verídicos. En estos casos en los que el origen de la información queda un poco en el aire quizá se le da demasiado bombo a esos datos/benchmarks. ¿Por qué se hace? Ayuda a crear hype.

Obviamente en Internet ese tipo de datos enciende arduos debates y discusiones entre los fans y haters de la marca en cuestión incluyendo a trolls de diversas especies. Pero, repetimos, no es motivo como para publicar como churros filtraciones de benchmarks ni mucho menos dar por sentada esa información.

Veracidad de los datos o ¿capturas de pantalla reales?

El siguiente paso en este tipo de comunicaciones estamos ante otra duda existencial, ¿será real la información mostrada en las capturas / filtraciones?

Aquí hay intereses ocultos por muchas partes distintas (fabricantes y sus productos / fabricantes y productos de otros / medios) que pueden llevar a este tipo de medidas en uno u otro sentido, es decir, para mostrar un rendimiento demasiado bueno o demasiado malo haciendo que el hype ante la llegada de ciertos productos se eleve o se desinfle.

Pero vamos al grano, los datos filtrados y la veracidad de los mismos. Actualmente sólo tenemos un par de tests que ofrecen constancia online de las puntuaciones conseguidas por dispositivos y queda constancia a modo de base de datos para poder consultarlo luego. Antutu es un ejemplo de ello.

Si nos ponemos a pensar las formas de alterar los datos mostrados en una fotografía de manera digital, se nos ocurren demasiadas maneras. El popular Photoshop y aplicaciones similares son soluciones que se usan día a día incluso para hacer que personas aparezcan en portadas de revistas, así que una tarea como retocar la imagen para alterar un número es cuestión de minutos.

La facilidad con la que se puede editar una imagen y que tenga un aspecto "original" y no retocado es muy alta y ello trae consigo muchas dudas sobre si la imagen es o no real. Pero siendo positivos y pensando que nadie ha retocado la imagen aún quedan más formas de falsear los datos.

Hackeando benchmarks, overclocking y refrigeración extrema

Vistas las posibilidades que tenemos de antemano para que las filtraciones de resultados de benchmarks sean falsas aún quedan las más convincentes de todas ya que incluso si el origen de la filtración es conocido, la fotografía está sin retocar y los datos registrados en las webs de las pruebas de rendimiento, aún podríamos estar "siendo engañados".

Nos vamos a poner en distintas situaciones en las que podremos falsear datos de rendimiento de terminales hasta este último punto.

El primero de ellos es, mediante rooteo, cambiar el ID y nombre del dispositivo y aparecería un nuevo nombre en los benchmarks. Esto sería útil para filtrar rendimientos de terminales gama media falseados al alza y, ojo, también al revés.

Ahora bien, cuando se filtran datos suelen ser de terminales de nueva generación con un rendimiento que mejora sobremanera a los actuales terminales, ¿cómo podríamos falsearlo?

La respuesta es completa pero aquí os dejamos varios métodos que conseguirán mejorar esa puntuación en los benchmarks que, unido al cambio de ID, podría ofrecer ese rendimiento mejorado que muchas filtraciones prometen.

Una vez rooteado también podemos utilizar programas para cambiar el governor (elemento que controla la gestión de potencia y rendimiento del SoC) a un governor de máximo rendimiento en el los núcleos no bajan de frecuencia nunca, estando a la máxima posible, perfecto para ese minuto de benchmark.

Yendo un poco más allá en este campo, existen kernels que mejoran prestaciones pudiendo hacer overclock no sólo de los núcleos CPU si no también de la GPU. El overclock hace que el smartphone trabaje a una frecuencia mayor a la de serie, aunque ello se traduzca en inestabilidad, debido en gran parte al calor generado y a la falta de energía. Para remediar hasta cierto punto esta inestabilidad se recurre al overvolting unido de medidas de refrigeración.

Para finalizar tenemos otro factor importante, la temperatura ambiente/del chip. Existen soluciones de refrigeración líquida para aburrir en el mundo de PC y un smartphone en en resumidas cuentas muy similar. Se puede aplicar un sistema de refrigeración líquida para bajar la temperatura del SoC y conseguir un mayor margen de overclock haciendo uso de voltajes más agresivos. Cuando se filtran capturas de pantalla no se ve el terminal final y los resultados no tienen porqué ser de una unidad ensamblada como cuando llegará a la calle, ¿no? Como habréis deducido, esta solución puede conseguir rendimientos fuera de serie para incluso terminales de hoy día y en manos de los benchmarks parecerían soluciones legítimas.

Hablando de la temperatura, por si no lo creéis, si tenéis un móvil de última generación tope de gama (con SoCs Snapdragon 801-810, Helio x10-x20, Kirin 950, por ejemplo) probad a hacer el benchmark que queráis en vuestra habitación. Dejad pasar 5 minutos (para que la temperatura general se estabilice de nuevo a la temperatura de ambiente).

Una vez hecho esto, recordad el valor final de esa prueba de rendimiento y acercaros a la cocina. Si pasáis ese mismo benchmark metiendo el móvil en el congelador conseguiréis una mayor puntuación, y no precisamente con pequeña diferencia.

Pero, ¿por qué pasa eso? la respuesta corta es que los SoCs tienen una característica que evita que se quemen por exceso de temperatura y reduce la frecuencia de los núcleos de CPU y GPU para mantenerla en un rango controlado dentro del de funcionamiento que recomienda el fabricante del chip. A esta característica se conoce como Throttling y es uno de los problemas que ha azotado este pasado año al Snapdragon 810.

Ahora imaginad que en lugar de aplicar frío a todo el móvil, se aplica un frío superior focalizado en el chip y aplicando un overclocking y overvolting considerable. Se le daría un rango más amplio de funcionamiento al chip en modo tope de rendimiento, sin entrar en funcionamiento el throttling con una frecuencia de funcionamiento muy superior a la de serie y, obviamente, las cifras de rendimiento se dispararían.

Las filtraciones no son tan importantes aunque tampoco hay que descartarlas

Como queda demostrado, las filtraciones tienen muchas papeletas de ser falsas y hay que tenerlo en cuenta. De hecho incluso siendo legítimas del terminal en cuestión, nadie puede garantizarte que se trate de un modelo que llegue al mercado, ensamblado y sin ningún tweak de rendimiento o del sistema de disipación.

Sin embargo tampoco es algo que haya que descartar directamente ya que hay nuevos chips que vienen con compatibilidad a nuevos estándares de aceleración 3D o núcleos que son más rápidos y eficientes que, de por sí, marcan diferencias notables.

Por lo que, siendo racionales, sólo podemos comentar que los benchmarks filtrados hay que tomárselo como lo que son, un rumor sin darle mucha importancia y, según de dónde venga, hacer caso al castizo refrán de si el río suena, agua lleva. ¿Cuánta? habrá que esperar a verlo y es lo que no se puede aventurar antes de comprobarlo.

Aparte, también quiero romper una lanza a favor del componente humano. Las pruebas de rendimiento muestran, valga la redundancia, un rendimiento en unos apartados muy concretos. Esos apartados tocan aceleración 3D de la GPU, rendimiento bruto de la CPU y una serie de tests muy controlados que pueden (y en la mayoría de casos no) ajustarse a lo que un usuario hace del smartphone día a día.

De hecho, por nuestras manos ha pasado algún terminal Android que traía consigo un procesador de última generación y, obviamente, en los benchmarks ofrecía unos datos realmente buenos, pero a la hora de utilizarlo había lags entre las pantallas y una serie de problemas que incluso smartphones de gama de entrada tenían pulidos. No es lo mismo el rendimiento bruto que la experiencia de usuario final.

El rendimiento bruto no es aprovechado por parte de la gran mayoría de usuarios y esos datos sólo muestran de lo que es capaz de ofrecer el chip en cuestión. Sin embargo, hay una implementación software del kernel que los fabricantes tienen que hacer con mucho mimo para intentar que la experiencia sea buena en cualquier situación. A esto hay que unir los límites de evitar que el smartphone se convierta en lava o que necesite estar conectado a la red eléctrica constantemente debido al gran consumo y en el otro extremo calibrar modos de ultraahorro energético para que tareas cotidianas no se vuelvan impracticables.

Filtraciones, como todo en la vida, hay que tenerlas en cuenta pero en su justa medida. Ya comprobaremos cuando tengamos entre nuestras manos el dispositivo Android en cuestión si aquella información era, o no, cierta.