Du bist nicht mit dem Internet verbunden.
Corporate logo
SmartphoneHintergrund 1313

Antutu Benchmark Manipulation mit einer Küche und etwas Motivation

Der Standard ist Schrott. Antutu Benchmark hat mehr Fehler als irgendwem lieb ist. Eine Analyse und ein Beispiel mit einem Kühlschrank.

Die App Antutu Benchmark und ihre Schwester Antutu 3D Bench gelten als de facto Standard der Leistungstests für Smartphones. Antutu belastet dein Smartphone in allerlei Arten, testet unter anderem die Grafikleistung, die Scrollgeschwindigkeit und die Intelligenz in der Bildanalyse. Am Ende kommt dann eine sechsstellige Zahl heraus, die dir dann sagt «Dein Smartphone ist 265 852 gut».

Das Problem: Die Scores lassen sich extrem einfach manipulieren.

Daher habe ich beschlossen, das mal kurz zu testen und dir einen Weg zu zeigen, wie du Antutu so manipulieren kannst, dass die App signifikant höhere Zahlen ausspuckt. Ich vergleiche das Gamer Phone Xiaomi Black Shark mit sich selbst. Dazu ein paar Referenzzahlen des Huawei Mate 20 Pro, denn die Unterschiede sagen viel aus.

Das Setup: Die zwei Testphones

Es macht einen Unterschied im Scoring, ob dein Phone viele Apps laufen lassen muss, WLAN ein oder aus hat oder, oder, oder… kurz: Je mehr dein Phone zu tun hat im Hintergrund, desto schlechter wird es im Antutu Benchmark abschliessen. Oder halt auch nicht. Denn da kommt ein weiteres Problem hinzu. Die offizielle Website Antutus gibt keine Auskunft darüber, wie genau unter welchen Faktoren getestet wird. Einfach «the most professional benchmark» und das soll dann auch reichen.

Die Test Phones sind daher mit möglichst grossen Unterschieden versehen.

Xiaomi Black Shark: Das Jungfräuliche

  • Black Shark (5.99", 128GB, Dual SIM, 20MP, Black)
  • Black Shark (5.99", 128GB, Dual SIM, 20MP, Black)
  • Black Shark (5.99", 128GB, Dual SIM, 20MP, Black)
CHF 574.–
Xiaomi Black Shark (5.99", 128GB, Dual SIM, 20MP, Black)
Aussergewöhnliches Smartphone im aussergewöhnlichen Gewand

Verfügbarkeit

Postversand

  • Mehr als 10 Stück
    in unserem Lager

Abholen

  • Basel: heute um 12:30
  • Bern: heute um 17:00
  • Dietikon: heute um 13:30
  • Genf: morgen um 14:00
  • Kriens: heute um 13:00
  • Lausanne: morgen um 12:30
  • St. Gallen: morgen um 13:00
  • Winterthur: morgen um 12:00
  • Wohlen: heute um 11:00
  • Zürich: heute um 17:30

PickMup

Bei sofortiger Bestellung.
Alle Angaben ohne Gewähr.

Details anzeigen

<strong>Xiaomi Black Shark</strong>: Fortnite! Jetzt!
Video
GamingReview

Xiaomi Black Shark: Fortnite! Jetzt!

Das Xiaomi Black Shark ist frisch formatiert. Es ist das Smartphone, auf dem ich die Scores mit einfachen Mitteln manipulieren werde. Auf Antutus Bestenliste steht es aktuell auf Rang 7 mit einem globalen Score von 291 099, denn Antutu loggt all die Resultate und rechnet dann – wieder ohne Angabe von Details oder Methodologie – eine Gesamtpunktzahl für die globale Referenz aus.

Huawei Mate 20 Pro: Das Hosentaschen-Phone

  • Mate 20 Pro (6.39", 128GB, Dual SIM, 40MP, Twilight)
  • Mate 20 Pro (6.39", 128GB, Dual SIM, 40MP, Twilight)
  • Mate 20 Pro (6.39", 128GB, Dual SIM, 40MP, Twilight)
CHF 852.–
Huawei Mate 20 Pro (6.39", 128GB, Dual SIM, 40MP, Twilight)
Intelligenter, als du denkst.
48

Verfügbarkeit

Postversand

  • Mehr als 10 Stück
    in unserem Lager

Abholen

  • Basel: 6 Stück
  • Bern: Nur noch 3 Stück
  • Dietikon: Nur noch 2 Stück
  • Genf: morgen um 14:00
  • Kriens: heute um 13:00
  • Lausanne: Nur noch 1 Stück
  • St. Gallen: Nur noch 3 Stück
  • Winterthur: morgen um 12:00
  • Wohlen: Nur noch 4 Stück
  • Zürich: 8 Stück

PickMup

Bei sofortiger Bestellung.
Alle Angaben ohne Gewähr.

Details anzeigen

<strong>Huawei Mate 20 Pro</strong>: Starke Batterie, schwacher Screen
Video
SmartphoneReview

Huawei Mate 20 Pro: Starke Batterie, schwacher Screen

Das Mate 20 Pro aus dem Hause Huawei ist aktuell der Spitzenreiter bei Antutu mit einem globalen Score von 305 437. Die ersten drei Ränge werden vom Mate 20 Pro, dem Mate 20 und dem Mate 20 X – also von Smartphones mit dem Kirin 980 System-on-a-Chip (SoC) – belegt. Das ist dahingehend interessant, als das SoC mit zwei Neural Processing Units (NPU) kommt. Diese zwei NPUs tun im Alltag nichts anderes, als mehr Systemressourcen für Apps aufzuwenden, die du oft brauchst. In der Theorie sieht das dann so aus: Je öfter ich Antutu anschmeisse, desto höher der Score. Das funktioniert aber erfahrungsgemäss erst über längere Zeit und nicht nach drei Tests an einem Freitagmorgen.

Das Mate 20 Pro ist bereits in Gebrauch. Im Hintergrund synchronisieren Apps wie Instagram, E-Mail oder WhatsApp. WLAN ist aus, die mobilen Daten an.

Der Test beginnt

Bevor ich mit der Manipulation beginne, muss ich wissen, was das Black Shark einfach so drauf hat. Ich lasse Antutu dreimal hintereinander an meinem Arbeitsplatz und in einem Meeting-Zimmer laufen. Die Scores:

  1. 227 410
  2. 224 099
  3. 220 689
Nach drei Tests lässt das Black Shark nach

In der Grafik sehe ich eine lineare Abnahme. Achtung: Die Grafik ist im Stile der Schweizer nationalistisch-konservativen Partei SVP gehalten: Ich habe den Bereich von 0 bis 220 000 ausgeblendet, damit die Fluktuationen visuell möglichst stark ausgeprägt sind. Das betrifft auch die anderen Grafiken in diesem Artikel. Am Ende zeichne ich ein Bild, in dem das Mate 20 Pro mit grossem und peinlich wirkendem Abstand verliert.

Der Test wird von der Temperatur des Geräts ausgebremst, denn je heisser dein Smartphone läuft, desto eher kicken Kühlsysteme ein. Ihr Job ist es, sicherzustellen, dass dein Smartphone nicht in Flammen aufgeht, wenn du es anstrengst. Da Leistung zu Temperaturanstieg führt, wird ebendiese Leistung gedrosselt bis das Gerät wieder eine akzeptable Temperatur erreicht hat.

Das Ding mit der Temperatur

Die am einfachsten durchzuführende Manipulation ist die der Temperatur. Wenn ich ein Smartphone kühle, kann es länger unter Volldampf arbeiten, bevor das Kühlsystem die Leistung drosselt. Also packe ich das Black Shark in ein Grip, auch Znünisäckli genannt, und dann ab in den Kühlschrank damit. Nach 30 Minuten lasse ich Antutu nochmal laufen.

Der Score: 284 089

Der Kühlschrank lässt den Score in die Höhe schnellen

Dank der externen Kühlung durch den Kühlschrank ist das Phone laut Antutu um 24 Prozent schneller oder besser geworden.

Schauen wir mal, ob ich das auf die Spitze treiben kann. Black Shark zurück ins Grip und dann ins Tiefkühlfach. 30 Minuten später: 285 853. Es scheint also so, als ob die Systemleistung ab einer gewissen Temperatur gleich gehalten wird, oder die Hardware-Leistung Mitte der 280 000er ihren Zenit erreicht.

Das Tiefkühlfach macht keinen grossen Unterschied mehr

Natürlich hat die Extremkühlung Auswirkungen auf die Batterielaufzeit des Black Shark. Aber dass ich innerhalb einer Stunde 60% des Akkus verbrauche, berücksichtigt Antutu nicht.

Mit steigender Temperatur, also drei Tests gleich nach dem Gefrierfach bei Raumtemperatur, normalisiert sich der Score aber wieder.

Kaum wärmt sich das Black Shark auf, lässt der Benchmark Score nach

Die Werte im Detail:

  1. 227 410
  2. 224 099
  3. 220 689
  4. 284 089
  5. 285 853
  6. 283 702
  7. 250 820
  8. 230 541

Das Mate 20 Pro fällt unter 200 000

Das Huawei Mate 20 Pro hat es nicht leicht. Ich teste es nur bei Raumtemperatur, drücke auf «Test Again» sobald der vorherige Test durch ist. Das Huawei Smartphone wird heisser und heisser und fünf Tests später fällt es unter die 220 000er-Marke.

Dank einfachsten Mitteln der Verlierer: Das Huawei Mate 20 Pro

Der Score: 199 911.

Die Testergebnisse im Detail:

  1. 260 886
  2. 247 398
  3. 242 193
  4. 221 842
  5. 199 911

Die offenen Fragen

Es ist offensichtlich, dass Antutu als Benchmark Tool nur wenig taugt. Das schwerwiegendste Problem mit der App ist, dass die Methodologie der Bestimmung des Global Score nicht transparent ist. Wenn das ein Durchschnittswert ist, dann müssen Tests anderer schier astronomische Werte liefern. Ein Beispiel: Das Mate 20 Pro hat seine 199 911 an Antutu übermittelt. Damit gibst du dich einverstanden, wenn du die App herunterlädst. Der Global Score liegt bei 305 437. Das heisst, dass mindestens ein Test den Schnitt mit einem Wert von 410 963 hat abschliessen müssen. Oder eine Million Tests mit etwa 306 000. Wenn Antutu aber so niedrige Scores eliminiert oder doch die Systemtemperatur irgendwie mathematisch normalisiert, dann kommuniziert der App Developer das nicht.

Es ist viel zu einfach, die Scores zu manipulieren. Wenn ich auf meinem Weg zur Kaffeemaschine 24 Prozent mehr Leistung vorgaukeln kann, dann stimmt mit dem Benchmark etwas nicht. Wenn ich einen Score künstlich niederdrücken kann, indem ich einfach wiederholt einen Test ausführe, dann ist der Test nicht viel wert.

Weiter kann ich mit einfachsten grafischen Mitteln ein Bild eines Phones zeichnen, das mehr Zerrbild als realistisches Abbild ist. Ich habe oben nicht nur einfach einen Bereich ausgeschnitten, sondern auch noch Farben verwendet, die gewisse Suggestionen enthalten. Rot, vor allem, wird mit Warnung und Gefahr assoziiert. Meine Ausrede für die Farbwahl: Ist CDCI-konform mit den digitec-Farben. Genau wie die politische Partei kann ich sagen: «Wenn du da etwas reininterpretierst, dann ist das deine Sache».

Dann ist da noch die Sache mit den Global Scores. Auch mit meiner Kühlschrank-Methodik, die ich schon für exzessiv halte, habe ich nicht einen Wert erreicht, der über dem Global Score von 291 099 liegt oder dem auch nur nahe kommt. Wie haben die das errechnet? Unter welchen Umständen kommen Werte zusammen, die meine lahmen 284 Tausend rausreissen?

Der Test bringt die ernüchternde Erkenntnis, dass Benchmarks nicht ganz so einfach sind, wie sie es vorgeben zu sein und dass eine bequem lesbare Zahl nicht zwingend Aussagekraft haben muss. Doch wir haben aktuell keine bessere Alternative.

So. Fertig. Bleib aufmerksam und hinterfrage alles.

Diese Beiträge könnten dich auch interessieren

<strong>Huawei Mate 20</strong>: Die ersten paar Stunden mit dem Phone, das andere Phones laden kann
Video
SmartphoneNews & Trends

Huawei Mate 20: Die ersten paar Stunden mit dem Phone, das andere Phones laden kann

<strong>Wireless Reverse Charging</strong>: Was passiert, wenn sich zwei Huawei Mate 20 Pro gegenseitig laden?
Video
SmartphoneKnowhow

Wireless Reverse Charging: Was passiert, wenn sich zwei Huawei Mate 20 Pro gegenseitig laden?

<strong>Kampf dem Notch</strong>: Wie du Wichtiges oben am Bildschirm siehst und den Müll nicht
DIYKnowhow

Kampf dem Notch: Wie du Wichtiges oben am Bildschirm siehst und den Müll nicht

User

Dominik Bärlocher, Zürich

  • Senior Editor
Journalist. Autor. Hacker. Ich bin Geschichtenerzähler und suche Grenzen, Geheimnisse und Tabus. Ich dokumentiere die Welt, schwarz auf weiss. Nicht, weil ich kann, sondern weil ich nicht anders kann.

13 Kommentare

3000 / 3000 Zeichen
Es gelten die Community-Bedingungen.

User Chronocide

Ich will ja nicht fies sein, Digitec. Aber hier über unzuverlässige Zahlen mötzle und in anderen Berichten dann Dezibel-Werte per Smartphone App messen geht irgendwie nicht auf. Hab trotzdem was gelernt und euch weiterhin lieb. ;)

18.12.2018
User patrickobe1

Der Benchmark ist schon OK, wenn er bei gleichen Bedingungen für den Vergleich von unterschiedlichen Geräten verwendet wird.
Und er zeigt auch sehr schön, wie stark die Handys schon an der Temperaturgrenze angekommen sind und wie schnell sie beginnen zu runter takten.

18.12.2018
User Anonymous

Digitec Klärt auf!
Das Thermal Throttling die Benchmarks beinflust ist jedem der bereits mal einen Custom Kernel installiert hat und sich an Overclocking versucht hat klar.
Das ihr das Thema massentauglich weiterer zählt ist super.

Übrigens, gibt genügend Hersteller die erkennen wenn eine Benchmark app im Vordergrund ist und dann die Thermische Limite noch erweitern als im normalen Betrieb.
Macht Antutu also gleich doppelt unnütz.

21.12.2018
User paulschwob

Eine n Test mit einer Partei zu vergleichen! Lach so macht Ihr Euch schon von Anfang an unglaubwürdig! Würde sich sicher neutraler und objektiver gehen!

24.12.2018
User amohr102

Netter Artikel aber das in einem ansonsten objektiven Bericht, der die Schwächen dieses Benchmarks aufzeigt, politische Negativwerbung gemacht wird ist ein No-Go! Völlig unabhängig von der Partei, die dabei unter Beschuss genommen wird. Wenn Sie dies machen wollen, dann kandidieren Sie doch für den Nationalrat oder veranstalten Sie sonstwo ein Kaspertheater.

18.12.2018
User Oli Knipser

SVP Bashing in einem Techbericht? So schenll wird aus der akufabsicht, eine Generelle Sperre vom Shop! Ich will keine politischen Aussagen in technischen Berichten, egal welche Seite der der Politik, Fail!

18.12.2018
User tel0852

Geht da schon unter Bashing? Er hat ja keine "farbigen" Schööfli plakatiert:)

18.12.2018
User Oli Knipser

Was genau hat den eine politische Partei mit einem Handy Benchmark zu tun? Es gibt genügend Metaphern die man anwenden kann. SOlche Sprüche zeigen halt deutlich die denkweise einer Person, die er gerne Privat haben darf, aber als Verkäufer oder Supporter einer Firma ist sowas fehl am Platz

19.12.2018
User Cannaprn

Digitec profitiert von der unbegrenzten Masseneinwanderung. Mehr Menschen mehr Umsatz. Mehr Menschen mehr billige Arbeitskräfte. Legetim und logisch.

19.12.2018
User Digitechi

Das ist die schlicht und einfache Wahrheit und kein SVP Bashing. Es wird hier nichts verallgemeinert sondern einfach nur der Fakt wiedergegeben dass die SVP manipulierte Diagramme benutzt hat für gewisse Volksinitiativen.

Oh, entschulde ihr wollt so etwas nicht? Wie wärs wenn die SVP dann nicht mit manipulierten Diagrammen kommt haha.

20.12.2018
User Anonymous

Klar ist es bashing. Da es nur eine Seite beschuldigt. Die SP manipuliert genau so.

20.12.2018
Antworten