OnePlus y Meizu engañan a los benchmarks para mejorar artificialmente sus puntuaciones

Archivado
¿Cuándo una prueba de rendimiento es representativa de las prestaciones reales de un teléfono móvil? Esta es una pregunta que tiene mucha más enjundia de la que parece. Si bien el propósito de cualquier benchmark es ofrecer un cálculo fidedigno del funcionamiento de un dispositivo, algunos fabricantes no dudan en buscar esa ventaja determinante en los análisis engañando a las aplicaciones de medición de rendimiento para hacer que sus productos parezcan más rápidos de lo que realmente son durante un uso convencional. Según ha descubierto XDA Developers, este es el caso de OnePlus y Meizu.

Un examen pormenorizado del comportamiento de los OnePlus 3T y Meizu Pro 6 muestra que ambos teléfonos utilizan técnicas poco ortodoxas e incluso engañosas para incrementar su rendimiento cuando detectan la activación del benchmark Geekbench. Este hecho ha podido ser corroborado haciendo uso de una build secreta que no activa la aceleración del dispositivo, evidenciando discrepancias importantes en el comportamiento del teléfono.

Imagen

En el caso del OnePlus 3T, el teléfono altera el funcionamiento normal de la CPU de su chipset Snapdragon 821 para permitir que pueda mantener una velocidad de reloj más elevada durante más tiempo. Este tipo de "acelerones" no son muy recomendables, puesto que de mantenerse de forma continuada pueden terminar dañando el hardware.

OnePlus se defiende señalando que esta especie de "modo turbo" oculto solo está presente para que los propietarios de su buque insignia puedan ejecutar con mayor soltura aplicaciones muy exigentes como juegos (que también son utilizados habitualmente para comprobar el rendimiento de un teléfono). Lo que no aclara es por qué este comportamiento sólo se hizo evidente en los benchmarks cuando XDA Developers utilizó una build secreta de Geekbench. Esto delataría que el teléfono no se ajusta a las exigencias de cada aplicación, sino que reacciona de forma selectiva. Sea como sea, desde OnePlus se asegura que en el futuro el sistema operativo no acelerará el teléfono cuando detecte que se está ejecutando un benchmark.

Imagen

El caso de Meizu es un poco distinto y posiblemente peor, puesto que su "dopaje" va exclusivamente dirigido a obtener los máximos resultados al lanzar un benchmark y no parece afectar a otras aplicaciones. Históricamente el fabricante chino ha preferido activar los núcleos de alto rendimiento de sus teléfonos de forma muy limitada, pero XDA Developers ha podido comprobar que su Pro 6, armado con un MediaTek Helio X25, enciende dichos cores automáticamente cuando detecta que un benchmark está ejecutándose para obtener la máxima puntuación posible. Este comportamiento anómalo es selectivo y según XDA Developers no se replica bajo otras circunstancias de uso.

Lo cierto es que este tipo de trampas son casi tan antiguas como los propios benchmarks. Posiblemente serán muchos los que recuerden la polémica que se desató años atrás cuando varios medios descubrieron que Samsung aceleraba sus teléfonos de forma artificial para mejorar sus puntuaciones en los análisis, solo para encontrarse con que los dispositivos de muchos otros fabricantes utilizaban las mismas triquiñuelas.

La reacción del público ha hecho que este tipo de prácticas dejen de ser comunes, al menos en apariencia. XDA Developers ha podido constatar durante su análisis que la build secreta de Geekbench no alteraba el funcionamiento de varios dispositivos firmados por HTC, Xiaomi, Huawei, Honor, Google y Sony entre otras compañías. Es evidente que OnePlus y Meizu no han querido seguir sus pasos.

Fuente: XDA Developers
Alguien se extraña??, quiero decir, después de lo de Volkswagen.... Si esta empresa se dedicaba a engañar a gobiernos, imagina lo que harán las empresas con "programas de test" de terceros.
No entiendo el engaño, si el procesador llega a dar esas cifras o se overclockea para juegos lo veo bien, otra cosa seria que de 1000 en antutu y te muestre 199999 .
Pero si el procesador y la grafica son capaces, porque no demostrarlo?
A mi esto no me sorprende pero tampoco lo veo como un engaño. Es la máxima potencia que da el dispositivo y cuando se le somete a un test debe dar su máximo rendimiento no?
litos001 escribió:A mi esto no me sorprende pero tampoco lo veo como un engaño. Es la máxima potencia que da el dispositivo y cuando se le somete a un test debe dar su máximo rendimiento no?

Es un engaño porque el teléfono solo da ese máximo rendimiento para el test y no en uso real.
@darkrocket Si lo da solo para la puntuación sí, ahí te doy la razón, si lo da también a la hora de exigirle en juegos y demás pues no.

De todos modos como digo no me sorprende, no es la primera vez que pasa ya. Y el problema es que luego los perjudicados son ellos que cuando se enteran los usuarios pierden confianza en ellos.
Yo es que este tipo de test no les hago mucho caso,me servía para saber si un teléfono era potente o no,pero si era el que más o se salía dle gráfico no me fiaba.
Efectivamente, como bien comentais, no es un engaño ... pero tampoco es correcto medirlo de esta manera. Es exactamente lo mismo que lo que sucede con otros muchos productos, por ejemplo:

Consola XXXX que tiene XXXXTflops de potencia .... contra otra consola, con XXXX que tiene XXXXTflops de potencia. Ok, muy bien, la que tiene mas es mas potente ... esto es cierto? si, en la practica es real? no.

Dicho de una forma mas sencilla. Si cogemos un portatil marca XXXX con procesador Intel i3 de 7ª generacion, y otro portatil XXXX con procesador Intel i7 de 7ª generacion ... cual de los dos es mas potente? se tiende que el i7, no? pero es mas potente para el mismo uso que el i3 siendo ofimatico? .....ummmmm, pues relativamente, porque potente lo es, pero que sea mejor lo dudo.

Y aqui lo mas gracioso, si al i3 le ponemos un disco SSD y al i7 le dejamos el disco HDD .... cual sera mas efectivo, practico y rapido en ambos casos? el i3 de lejos ... pero deja esto a un lado el hecho de que el i7 sea mas potente? no.

El problema de esto, es que un TEST no te dice lo que realmente vas a utilizar en cuanto a un uso normal del movil. Por consiguiente, no te estan engañando, pero es capaz que otro uso de otro movil, de mejor resultado en pruebas que SOLO BENEFICIAS a tu dispositivo, cuando eso no es real.
Como dice el dicho: Hecha la ley, hecha la trampa.

De todas formas lo hacen por y para Marketing, para los de: Yo quiero lo mas mejor del mundo mundial , aunque luego sea mas de lo mismo.
Bueno, es como los consumos homologados de los coches, o las emisiones; todo el mundo sabe que son mentira, y por eso no creo que NADIE compre éste o aquel coche porque gasta 0,3 litros menos, según el fabricante; compran uno u otro por la experiencia global que proporciona el producto.

Está mal hacer trampas, eso si.
Estos test son básicamente para medir quién la tiene más larga, que es en lo que se basa el modelo de negocio de Android aunque el usuario final no note diferencia.
Alejo I escribió:XDA Developers ha podido constatar durante su análisis que la build secreta de Geekbench no alteraba el funcionamiento de varios dispositivos firmados por HTC, Xiaomi, Huawei, Honor, Google y Sony entre otras compañías.

Pq no hacen trapicheo, o pq hacen el trapicheo tan bien, que detectan el benchmark hasta con la build secreta ? [buenazo] [carcajad]
Desde hace tiempo que no le veo relevancia a esas pruebas pues da igual si tienes gama alta o baja salvó sensores de camara y algunas optimizaciónes; por lo menos en Android.
Yo pensaba que TODOS los fabricantes se ponían en modo "rendimiento+" cuando detectaban software de benchmarking.

Para comprar un móvil los números de antutu y demás no me dicen nada, prefiero buscar como se comporta en situaciones reales, ya sea buscando videos o reviews a conciencia, o probando los móviles de familiares/amigos/conocidos in situ.
Nada nuevo bajo el sol, pasa con la ps4 más potente que xbox one y luego hay juegos como fh3 que están trucados para que se vean mejor que los de ps4...
Ya no me extraña nada ... muchos son los modelos de Android que hacen este tipo de cosas [+risas]
Pues yo tengo el OP 3T y cuando lo encendí lo primero que hice fue el benchmark solo para comprobar que no daba error en ningún apartado (que no estuviese el procesador, la ram o algun componente jodido) y luego lo borré al darme todo OK. Además, todos hacen lo mismo. En un benchmark exprimen al máximo en hardware, y si activan modos turbo es porque lo puede dar. Hay que entender aparte que dar siempre ese extra merma la vida útil de los componentes, por eso están como "capados" y al hacer un test salen a relucir. Pero vamos, a poco que sepas de hardware entiendes los motivos. Por eso a las gráficas, ram y cpu se le puede hacer OC, porque sencillamente pueden dar ese rendimiento. Es eso trampa? Pues no. Es recomendable? Pues depende, como le exijas de más teduces la vida útil o hasta puedes cargarte el componente. Allá cada uno con sus temas, prefiero que los componentes de un 95% y que duren más a que me den un 100% o un 105% y se rompan antes.
No creo que sean los primeros que lo hacen.... ni los últimos.
Yo pienso igual que algunos compañeros, no es de extrañar este tipo de cosas...

¿Se trata sólo de esos dos terminales o afecta también al One Plus 3?
Simplemente los test benchmark son basura, credibilidad 0 al menos para mi
China style.
Esto es un engaño en toda regla y parece que a algunos les duele reconocerlo...
Tampoco es tanta trampa. Se Overclockea para dar mejor puntuación. Vale, la puntuación no es con la versión stock, pero solo es eso. Sumado a que otros también lo harán, no es problema.

Estaría bien entonces un modo de medición con las cifras de stock, pero si eso lleva tontamente a que de serie te den un terminal oceado el 100% del tiempo "pa na", mejor que todo quede así.
Es un engaño y punto. No sería un engaño si lo hiciesen todos los fabricantes para los test y todos jugasen en "igualdad de condiciones". Si un fabricante prepara su terminal para que si ejecuta un test se ponga a tope y deje otras cosas menos atendidas y otro fabricante no lo prepara es como si pones a correr a dos pilotos de F1 en un circuito que uno conoce y el otro no.

Vamos, que sí, que es trampa. Simple.
Lo hacen todas, no solo estas dos compañías, nada nuevo bajo el sol.
no entiendo muy bien la noticia.

Los test de rendimiento siempre se han hecho con el rendimiento del componente en cuestion al maximo de potencia.
Sea una CPU, GPU, SSD, RAM.... no se, cualquier pieza del PC. Cuando haces un benchmark de la GPU o de la CPU con OC al maximo de lo que dan, es para ver el rendimiento maximo de tu hardware. Evidentemente, no vas a mantener ese OC en el dia a dia, porque reduces la vida util un monton.

Yo lo veo logico. Esos test dan el rendimiento maximo del procesador. Imagino que mediante algun programa con root, se pueda desbloquear el procesador para dejarlo en modo turbo por defecto si quieres, igual que hace cuando detecta determinado software en memoria.
A mi los eso de los test no me molan nada es mejor ,guiarse por las opiniones de los usuarios así no hay trampa ni cartón.
El único engaño con ese test es que los iPhone corren un código "especial" de serie y sacan resultados inflados, se puede ver que hasta cierta versión daban unos resultados y en las nuevas builds se disparan sus puntuaciones...eso si que es engañar

Lo que hacen tanto Oneplus y Meizu es al detectar un juego o bench poner sus teléfonos en modo máximo rendimiento, utilizando sus maximas frecuencias y el uso de todos sus cores, no hay ninguna trampa porque no alteran el resultado final de ninguna forma
Lo que poca gente sabe es que sus flamantes moviles de cualquier compañia no pueden sostener sus clocks al maximo por mas de 3 o 4 minutos.

Por limitaciones tecnicas o de diseño, no hay manera de hacerlos funcionar al 100% sin que bajen los clocks en cantidades exageradas.
28 respuestas
Archivado
Volver a Tecnología