Antutu Benchmark Manipulation avec une cuisine et un peu de motivation
18/12/2018
Traduction: traduction automatique
Le standard est de la merde. Le benchmark Antutu a plus d'erreurs que personne ne le souhaite. Une analyse et un exemple avec un réfrigérateur.
L'application Antutu Benchmark et sa sœur Antutu 3D Bench sont considérées comme la norme de facto des tests de performance pour smartphones. Antutu soumet votre smartphone à toutes sortes de contraintes, testant notamment les performances graphiques, la vitesse de défilement et l'intelligence dans l'analyse des images. Le résultat est un nombre à six chiffres qui vous dit "Votre smartphone est bon pour 265 852".
Le problème : les scores sont extrêmement faciles à manipuler.
C'est pourquoi j'ai décidé de faire un petit test et de vous montrer un moyen de manipuler Antutu pour que l'application crache des chiffres significativement plus élevés. Je compare le gamer phone Xiaomi Black Shark à lui-même. Ajoutez à cela quelques chiffres de référence du Huawei Mate 20 Pro, car les différences en disent long.
La configuration : Les deux téléphones de test
Le fait que votre téléphone doive faire tourner de nombreuses applications, que le Wi-Fi soit activé ou désactivé, ou, ou, ou... Bref, plus votre téléphone est occupé en arrière-plan, moins il sera performant dans le benchmark Antutu. Ou pas du tout. Car il y a un autre problème. Le site officiel Antutus ne donne aucune information sur la manière dont les essais sont effectués et sur les facteurs utilisés. Simplement "the most professional benchmark" et cela devrait suffire.
Les téléphones de test sont donc dotés de différences aussi importantes que possible.
Xiaomi Black Shark : le puceau
Le Xiaomi Black Shark est fraîchement formaté. C'est le smartphone sur lequel je vais manipuler les scores avec des moyens simples. Sur Le palmarès d'Antutu, il est actuellement en 7e position avec un score global de 291 099, car Antutu enregistre tous les résultats et calcule ensuite - encore une fois sans donner de détails ou de méthodologie - un score total pour la référence globale.
Huawei Mate 20 Pro : le téléphone de poche
Le Mate 20 Pro de Huawei est actuellement en tête de liste sur Antutu avec un score global de 305 437, les trois premières places étant occupées par le Mate 20 Pro, le Mate 20 et le Mate 20 X, c'est-à-dire des smartphones équipés du système sur une puce (SoC) Kirin 980. C'est intéressant dans la mesure où le SoC est livré avec deux Neural Processing Units (NPU). Au quotidien, ces deux NPU ne font rien d'autre que de consacrer plus de ressources système aux applications que vous utilisez souvent. En théorie, cela ressemble à ceci : Plus je lance Antutu, plus le score augmente. Mais l'expérience montre que cela ne fonctionne que sur le long terme et pas après trois tests un vendredi matin.
Le Mate 20 Pro est déjà en cours d'utilisation. Des applications comme Instagram, les e-mails ou WhatsApp se synchronisent en arrière-plan. Le Wi-Fi est éteint, les appareils mobiles allumés.
L'essai commence
Avant de commencer la manipulation, j'ai besoin de savoir ce dont le Black Shark est tout simplement capable. Je fais tourner Antutu trois fois de suite sur mon lieu de travail et dans une salle de réunion. Les scores :
- 227 410
- 224 099
- 220 689
Dans le graphique, je vois une diminution linéaire. Attention : le graphique est dans le style du parti nationaliste-conservateur suisse UDC : J'ai masqué la plage de 0 à 220 000 pour que les fluctuations soient visuellement les plus marquées possible. Cela concerne également les autres graphiques de cet article. Au final, je dessine un tableau dans lequel le Mate 20 Pro perd avec un écart important et embarrassant.
L'essai est ralenti par la température de l'appareil, car plus votre smartphone fonctionne à chaud, plus les systèmes de refroidissement ont tendance à s'emballer. Leur travail consiste à s'assurer que votre smartphone ne s'enflamme pas lorsque vous le poussez à bout. Comme la puissance entraîne une augmentation de la température, cette même puissance est réduite jusqu'à ce que l'appareil atteigne une température acceptable.
La question de la température
La manipulation la plus simple à réaliser est celle de la température. Si je refroidis un smartphone, il peut fonctionner plus longtemps à pleine vapeur avant que le système de refroidissement ne réduise ses performances. Je mets donc le Black Shark dans un Grip, également appelé sac à goûter, et je le mets au réfrigérateur. Après 30 minutes, je relance Antutu.
Le score : 284 089
Grâce au refroidissement externe par le réfrigérateur, le Phone a gagné 24 pour cent de rapidité ou d'amélioration selon Antutu.
Voyons si je peux pousser cela à l'extrême. Retour du Black Shark dans le Grip, puis au congélateur. 30 minutes plus tard : 285 853. Il semble donc que les performances du système se maintiennent à partir d'une certaine température, ou que les performances matérielles atteignent leur zénith au milieu des 280 000.
Bien sûr, le refroidissement extrême a un impact sur l'autonomie du Black Shark. Mais le fait que je consomme 60% de la batterie en une heure n'est pas pris en compte par Antutu.
Mais avec la montée en température, donc trois essais juste après le congélateur à température ambiante, le score revient à la normale.
Les scores en détail :
- 227 410
- 224 099
- 220 689
- 284 089
- 285 853
- 283 702
- 250 820
- 230 541
Le Mate 20 Pro passe sous la barre des 200 000
Le Huawei Mate 20 Pro n'a pas la vie facile. Je le teste uniquement à température ambiante, j'appuie sur "Test Again" dès que le test précédent est terminé. Le smartphone Huawei chauffe de plus en plus et cinq essais plus tard, il passe sous la barre des 220 000.
Le score : 199 911.
Les résultats des tests en détail :
- 260 886
- 247 398
- 242 193
- 221 842
- 199 911
Les questions en suspens
Il est évident qu'Antutu n'est pas très utile comme outil de benchmark. Le problème le plus grave avec l'application est que la méthodologie de détermination du score global n'est pas transparente. S'il s'agit d'une moyenne, les tests effectués par d'autres doivent donner des valeurs quasi astronomiques. Un exemple : le Mate 20 Pro a transmis son 199 911 à Antutu. C'est ce que vous acceptez lorsque vous téléchargez l'application. Le score global est de 305 437, ce qui signifie qu'au moins un test a dû terminer la moyenne avec un score de 410 963. Si Antutu élimine des scores aussi bas ou normalise mathématiquement la température du système, le développeur de l'application ne le communique pas.
Il est bien trop facile de manipuler les scores. Si je peux faire croire à 24 pour cent de performances supplémentaires sur le chemin de la machine à café, c'est que quelque chose ne va pas avec le benchmark. Si je peux faire baisser artificiellement un score en exécutant simplement un essai à plusieurs reprises, l'essai ne vaut pas grand-chose.
En outre, je peux utiliser les outils graphiques les plus simples pour dessiner une image d'un téléphone qui est plus déformée que réaliste. Non seulement j'ai découpé une zone ci-dessus, mais j'ai également utilisé des couleurs qui contiennent certaines suggestions. Le rouge, en particulier, est associé à l'avertissement et au danger. Mon excuse pour le choix des couleurs : Est conforme au CDCI avec les couleurs digitec. Tout comme le parti politique, je peux dire : "Si vous y mettez quelque chose, c'est votre problème".
Ensuite, il y a le problème des Global Scores. Même avec ma méthodologie de frigo, que je considère déjà comme excessive, je n'ai pas obtenu un score supérieur ou même proche du Global Score de 291 099. Comment ont-ils calculé cela ? Quelles sont les circonstances qui ont permis d'obtenir des scores qui dépassent mes 284 000 ?
L'essai nous amène à la conclusion décevante que les benchmarks ne sont pas aussi simples qu'ils le prétendent et qu'un chiffre commodément lisible n'a pas nécessairement de signification. Mais nous n'avons actuellement pas de meilleure alternative.
Voilà, c'est fini. Restez attentif et remettez tout en question.
Journaliste. Auteur. Hackers. Je suis un conteur d'histoires à la recherche de limites, de secrets et de tabous. Je documente le monde noir sur blanc. Non pas parce que je peux, mais parce que je ne peux pas m'en empêcher.
Smartphone
Suivez les thèmes et restez informé dans les domaines qui vous intéressent.
13 commentaires
later