Samsung y el viejo arte de "trucar" los benchmarks

Oh, "Samsung lo ha vuelto a hacer". La comidilla circula por muchos medios tecnológicos. "Han hecho trampas en los benchmarks, otra vez". Bueno, esto no es del todo cierto. Hay que entender un poco lo que es un benchmark y lo que ha hecho Samsung para ver que en realidad no hay tanta trampa como parece. Y con esto no pretendo defender a Samsung, tan sólo es mostrar que esta maniobra no es algo tan grave como se está vendiendo. De ahí las comillas del título.

Ante todo habría que hablar de qué es un benchmark y cómo funciona, pero eso ya lo hace Javier Pastor mucho mejor que yo. En resumen, es un conjunto de cargas de instrucciones pensadas para probar el rendimiento de múltiples procesadores en igualdad de condiciones.

Lo que ha hecho Samsung

Un procesador, especialmente si está diseñado para usarlo en móviles, no debe ser todo potencia. ¿De qué sirve destinar ocho núcleos de cálculo y 64 núcleos gráficos a una aplicación para escribir notas? Eso sería un absoluto desperdicio de batería. Así que los procesadores actuales adaptan su rendimiento a lo que la aplicación demanda, de forma dinámica.

Lo único que ha hecho Samsung es asegurarse de que en determinadas aplicaciones, el procesador no va a entrar en modo "ahorro de energía" innecesariamente. ¿Esto infla el resultado de los benchmarks? Pues en realidad no, porque el procesador no va a funcionar nunca por encima de su capacidad. Lo que se evita es que trabaje por debajo de su capacidad real.

Trampas son cambios a nivel físico

¿Se puede falsear un benchmark? Pues sí. De hecho, los desarrolladores de benchmarks han de estar atentos para evitar trucajes. El más fácil de entender es el overclocking, aumentar la velocidad del reloj. El procesador trabaja por encima de la velocidad recomendada, lo que aumenta el rendimiento pero puede empeorar la estabilidad del sistema e incluso la vida útil del procesador. Eso sí es hacer trampa, porque el resto de aplicaciones no tendrá acceso a esa velocidad aumentada.

Los creadores de benchmarks se han enfrentado a casos peores. Se conocen casos de procesadores que, a nivel hardware, detectaban cuándo se estaba ejecutando alguno de los benchmarks más típicos y se comportaban de forma irreal, inflando los resultados. Esto quiere decir que en el diseño del propio procesador ya se tenía en cuenta cómo falsear los resultados de las pruebas.

Siempre hay que tomar los resultados de benchmarks con cautela. Samsung no es ni mucho menos la única que cuida el rendimiento de sus dispositivos cuando los enfrentas a una batería de pruebas... esto está a la orden del día y hay que ser muy necio para creer que Intel, AMD, NVIDIA o cualquier otro gran fabricante de procesadores no ha tomado medidas similares alguna vez.

Al final la diferencia real de rendimiento entre el mismo procesador pero montado en dos terminales diferentes es una cuestión de optimización, tanto hardware como software. No, lo que ha hecho Samsung no lo veo como trucaje. Ni siquiera lo veo como una maniobra falta de ética. Es más, lo veo como la manera ideal de mostrar la potencia real que puede llegar a dar el procesador en el mejor de los casos. ¿Es que no es eso lo que pretende un benchmark?

En Xataka Android | AnandTech denuncia que Samsung optimizó S4 para destacar en los benchmarks En Xataka | Benchmarking en móviles, poniéndole números a la potencia