Retroscena
Fairphone 3: recensione superflua
di Dominik Bärlocher
Manipoliamo il benchmark Antutu con un frigo e un po’ di motivazione
18.12.2018
Traduzione: Leandra Amato
Lo standard del benchmark Antutu è completamente inutile. È pieno di bug e contraddizioni. In questo articolo, ti faccio un esempio e ti mostro un’analisi del problema utilizzando un frigorifero.
Il problema è che questi punteggi sono manipolabili con estrema semplicità.
Ecco perché ho deciso di mettere Antutu alla prova e mostrarti come puoi manipolare i dati in modo che l'app ti dia numeri significativamente più alti. Ho confrontato il telefono da gaming Phone Xiaomi Black Shark con se stesso. Aggiungerò anche alcuni numeri di riferimento del Huawei Mate 20 Pro, perché le differenze la dicono lunga.
Il set-up: i due telefoni testati
Ecco perché abbiamo testato i nostri due telefoni in circostanze molto diverse.
Xiaomi Black Shark
Huawei Mate 20 Pro
Veniamo al telefono. Il Mate 20 Pro è già in uso. Applicazioni come Instagram, e-mail o WhatsApp si sincronizzano in background. Il WiFi è disattivato, i dati mobili sono attivi.
Via al test
Prima di iniziare a manipolare il test, devo sapere di che pasta è fatto il Black Shark. Avvio Antutu tre volte di fila mentre sono alla mia postazione di lavoro e in una sala riunioni. I punteggi:
- 227 410
- 224 099
- 220 689
Nel grafico vedo una diminuzione lineare. Attenzione, il grafico è nello stile del partito nazionalista-conservatore svizzero UDC: ho oscurato l'intervallo da 0 a 220 000, in modo che le fluttuazioni siano visivamente il più marcate possibile. Questo vale anche per gli altri elementi grafici di questo articolo. Alla fine, ne è risultato un quadro in cui il Mate 20 Pro perde con grande e imbarazzante distanza.
Il test è rallentato dalla temperatura del dispositivo, perché più si scalda il tuo smartphone, più girano i sistemi di raffreddamento. Il tuo compito è quello di assicurarti che il telefono non vada in fiamme mentre lo spremi per il test. Poiché la potenza porta a un aumento della temperatura, viene strozzata fino a quando il dispositivo ha raggiunto di nuovo una temperatura accettabile.
La temperatura
La manipolazione più semplice da eseguire è quella della temperatura. Quando raffreddo uno smartphone, poi posso stressarlo più a lungo prima che il sistema di raffreddamento ne riduca la potenza. Così metto il Black Shark in un sacchettino di stoffa e poi lo infilo in un frigorifero. Dopo 30 minuti riavvio Antutu.
Il punteggio: 284 089
Grazie al trucco del raffreddamento esterno con il frigo, secondo Antutu, il telefono è diventato il 24 per cento più veloce o più efficiente.
Vediamo se riesco a portarlo all’estremo. Rimetto il Black Shark nel sacchettino, poi nel vano freezer. Il punteggio 30 minuti dopo: 285 853. Sembra quindi che le prestazioni del sistema si mantengano allo stesso livello se sono al di sopra di una certa temperatura, oppure che le prestazioni dell'hardware raggiungano l’apice a metà dei 280 000.
Naturalmente, il raffreddamento estremo influisce sulla durata della batteria del Black Shark, ma Antutu non tiene conto del fatto che consumo il 60% della batteria in un'ora.
Con l'aumento della temperatura, cioè dopo aver effettuato tre test subito dopo il vano freezer a temperatura ambiente, il punteggio torna alla normalità.
I valori in dettaglio:
- 227 410
- 224 099
- 220 689
- 284 089
- 285 853
- 283 702
- 250 820
- 230 541
Il Mate 20 Pro scende sotto i 200 000
Per il Huawei Mate 20 Pro non è facile. Lo testo solo a temperatura ambiente. Premo «Test Again» appena è terminato il test precedente. Il Huawei si scalda sempre di più e cinque test più tardi il punteggio scende al di sotto dei 220 000.
Il punteggio: 199 911.
I risultati del test in dettaglio:
- 260 886
- 247 398
- 242 193
- 221 842
- 199 911
Le domande aperte
Manipolare i risultati è troppo facile. Se riesco a tirare fuori il 24 per cento di potenza in più mentre vado alla macchina del caffè, allora c'è qualcosa che non va nel benchmark. Se posso abbassare artificialmente un punteggio semplicemente ripetendo un test, allora il test non vale molto.
E, per finire, creare grafici distorti è facilissimo. Non solo ho qui ritagliato delle aree nella parte superiore dei grafici, ma ho anche usato colori che possono far sottintendere messaggi specifici. Il rosso, soprattutto, è associato ad avvertenze e pericoli. La mia scusa per scegliere i colori: sono compatibili con i colori digitec. Proprio come il partito politico, posso dire: «Se ci vedi qualcosa sotto, è un problema tuo».
Poi c'è la faccenda dei punteggi globali. Anche con la mia metodologia del frigorifero, che già considero eccessiva, non ho raggiunto un valore superiore o vicino al punteggio globale di 291 099. Come l’ha calcolato quindi Antutu? In quali circostanze potrebbero essere stati prodotti quei punteggi, se i miei test riescono a farne a malapena 284 000?
Il test mi porta alla sobria consapevolezza che i parametri di riferimento non sono così semplici come pretendono di essere e che un numero facilmente leggibile non deve necessariamente essere significativo. Ma al momento non abbiamo un'alternativa migliore.
Perciò questo è quanto. Stai attento e prendi tutto con le pinze.
Giornalista. Autore. Hacker. Sono un contastorie e mi piace scovare segreti, tabù, limiti e documentare il mondo, scrivendo nero su bianco. Non perché sappia farlo, ma perché non so fare altro.
Smartphone
Segui gli argomenti e ricevi gli aggiornamenti settimanali relativi ai tuoi interessi.
Retroscena
Curiosità dal mondo dei prodotti, uno sguardo dietro le quinte dei produttori e ritratti di persone interessanti.
Visualizza tutti
