Hintergrund
Fairphone 3: Review überflüssig
von Dominik Bärlocher
Antutu Benchmark Manipulation mit einer Küche und etwas Motivation
18.12.2018
Der Standard ist Schrott. Antutu Benchmark hat mehr Fehler als irgendwem lieb ist. Eine Analyse und ein Beispiel mit einem Kühlschrank.
Das Problem: Die Scores lassen sich extrem einfach manipulieren.
Daher habe ich beschlossen, das mal kurz zu testen und dir einen Weg zu zeigen, wie du Antutu so manipulieren kannst, dass die App signifikant höhere Zahlen ausspuckt. Ich vergleiche das Gamer Phone Xiaomi Black Shark mit sich selbst. Dazu ein paar Referenzzahlen des Huawei Mate 20 Pro, denn die Unterschiede sagen viel aus.
Das Setup: Die zwei Testphones
Die Test Phones sind daher mit möglichst grossen Unterschieden versehen.
Xiaomi Black Shark: Das Jungfräuliche
Huawei Mate 20 Pro: Das Hosentaschen-Phone
Das Mate 20 Pro ist bereits in Gebrauch. Im Hintergrund synchronisieren Apps wie Instagram, E-Mail oder WhatsApp. WLAN ist aus, die mobilen Daten an.
Der Test beginnt
Bevor ich mit der Manipulation beginne, muss ich wissen, was das Black Shark einfach so drauf hat. Ich lasse Antutu dreimal hintereinander an meinem Arbeitsplatz und in einem Meeting-Zimmer laufen. Die Scores:
- 227 410
- 224 099
- 220 689
In der Grafik sehe ich eine lineare Abnahme. Achtung: Die Grafik ist im Stile der Schweizer nationalistisch-konservativen Partei SVP gehalten: Ich habe den Bereich von 0 bis 220 000 ausgeblendet, damit die Fluktuationen visuell möglichst stark ausgeprägt sind. Das betrifft auch die anderen Grafiken in diesem Artikel. Am Ende zeichne ich ein Bild, in dem das Mate 20 Pro mit grossem und peinlich wirkendem Abstand verliert.
Der Test wird von der Temperatur des Geräts ausgebremst, denn je heisser dein Smartphone läuft, desto eher kicken Kühlsysteme ein. Ihr Job ist es, sicherzustellen, dass dein Smartphone nicht in Flammen aufgeht, wenn du es anstrengst. Da Leistung zu Temperaturanstieg führt, wird ebendiese Leistung gedrosselt bis das Gerät wieder eine akzeptable Temperatur erreicht hat.
Das Ding mit der Temperatur
Die am einfachsten durchzuführende Manipulation ist die der Temperatur. Wenn ich ein Smartphone kühle, kann es länger unter Volldampf arbeiten, bevor das Kühlsystem die Leistung drosselt. Also packe ich das Black Shark in ein Grip, auch Znünisäckli genannt, und dann ab in den Kühlschrank damit. Nach 30 Minuten lasse ich Antutu nochmal laufen.
Der Score: 284 089
Dank der externen Kühlung durch den Kühlschrank ist das Phone laut Antutu um 24 Prozent schneller oder besser geworden.
Schauen wir mal, ob ich das auf die Spitze treiben kann. Black Shark zurück ins Grip und dann ins Tiefkühlfach. 30 Minuten später: 285 853. Es scheint also so, als ob die Systemleistung ab einer gewissen Temperatur gleich gehalten wird, oder die Hardware-Leistung Mitte der 280 000er ihren Zenit erreicht.
Natürlich hat die Extremkühlung Auswirkungen auf die Batterielaufzeit des Black Shark. Aber dass ich innerhalb einer Stunde 60% des Akkus verbrauche, berücksichtigt Antutu nicht.
Mit steigender Temperatur, also drei Tests gleich nach dem Gefrierfach bei Raumtemperatur, normalisiert sich der Score aber wieder.
Die Werte im Detail:
- 227 410
- 224 099
- 220 689
- 284 089
- 285 853
- 283 702
- 250 820
- 230 541
Das Mate 20 Pro fällt unter 200 000
Das Huawei Mate 20 Pro hat es nicht leicht. Ich teste es nur bei Raumtemperatur, drücke auf «Test Again» sobald der vorherige Test durch ist. Das Huawei Smartphone wird heisser und heisser und fünf Tests später fällt es unter die 220 000er-Marke.
Der Score: 199 911.
Die Testergebnisse im Detail:
- 260 886
- 247 398
- 242 193
- 221 842
- 199 911
Die offenen Fragen
Es ist viel zu einfach, die Scores zu manipulieren. Wenn ich auf meinem Weg zur Kaffeemaschine 24 Prozent mehr Leistung vorgaukeln kann, dann stimmt mit dem Benchmark etwas nicht. Wenn ich einen Score künstlich niederdrücken kann, indem ich einfach wiederholt einen Test ausführe, dann ist der Test nicht viel wert.
Dann ist da noch die Sache mit den Global Scores. Auch mit meiner Kühlschrank-Methodik, die ich schon für exzessiv halte, habe ich nicht einen Wert erreicht, der über dem Global Score von 291 099 liegt oder dem auch nur nahe kommt. Wie haben die das errechnet? Unter welchen Umständen kommen Werte zusammen, die meine lahmen 284 Tausend rausreissen?
Der Test bringt die ernüchternde Erkenntnis, dass Benchmarks nicht ganz so einfach sind, wie sie es vorgeben zu sein und dass eine bequem lesbare Zahl nicht zwingend Aussagekraft haben muss. Doch wir haben aktuell keine bessere Alternative.
So. Fertig. Bleib aufmerksam und hinterfrage alles.
Journalist. Autor. Hacker. Ich bin Geschichtenerzähler und suche Grenzen, Geheimnisse und Tabus. Ich dokumentiere die Welt, schwarz auf weiss. Nicht, weil ich kann, sondern weil ich nicht anders kann.
Smartphone
Folge Themen und erhalte Updates zu deinen Interessen
Hintergrund
Interessantes aus der Welt der Produkte, Blicke hinter die Kulissen von Herstellern und Portraits von interessanten Menschen.
Alle anzeigen
