

Storie dall’Alpha: l’auto che non c'è

Scatto. Dovrebbe essere la foto di un’auto da corsa che sfreccia. L’intelligenza artificiale mi dà un panorama tranquillo, ma senza auto. Anche se l'immagine è inutile, fornisce un'idea di come funziona la fotocamera di uno smartphone.
Ogni tanto mi trovo a giocare con software «quasi pronti». Sono davvero dei bei momenti nel mio lavoro. Da nessun altra parte posso guardare dietro le quinte meglio che in un software incompleto. Purtroppo, il software quasi finito sembra essere imbarazzante per i produttori di smartphone o qualcosa del genere. Oppure pensano che nessuno voglia comprare i telefoni se sanno che un tempo c'era un software incompleto.
Non capisco. Per i nerd tecnici è una cosa molto interessante. Possiamo scoprire come un telefono fa certe cose, cosa pensa l'intelligenza artificiale (IA) e perché un produttore ha preso una certa decisione.
Adoro la versione alfa o beta di un software. Care case di produzione, sono sicuro che i miei lettori e le mie lettrici siano abbastanza intelligenti da sapere che il software sul loro telefono sarà pronto all’acquisto.
Dunque: Oppo.

Oggi viene lanciato sul mercato l'Oppo Reno 4 Pro. Ne ho uno dalla settimana scorsa e l’ho portato con me alla 24 ore del Nürburgring. Pioveva. Ma che figata.
Il caso dell'auto da corsa scomparsa
Si sta facendo notte. L'Oppo Reno 4 Pro è descritto come un buon telefono per le riprese notturne. Non importa se video o foto. È giunto il momento di testarlo. Sono sul lato destro del traguardo. Sento un motore che corre in lontananza, vedo le luci dell’auto. Poiché uno smartphone ha bisogno di qualche decimo di secondo tra la pressione del pulsante di scatto e lo scatto stesso, quando l'auto da corsa si trova nel terzo sinistro della foto, premo il pulsante soft.
Il risultato:

Nella foto c'è un'auto da corsa. Ma l’lA l'ha ignorata. Cos'è successo?
Volevo qualcosa del genere – se riesco a dimostrarlo con le mie pessime capacità di Photoshop:

Ma poiché il software di anteprima del mio Oppo non collabora ancora al 100% con la fotocamera, l'IA commette un errore con il materiale che riceve dalla fotocamera.
Anatomia dello scatto di uno smartphone
Una foto fatta con uno smartphone non è una foto tradizionale. Una foto è un'immagine assemblata dall'IA che consiste di due o più scatti. Per l'esempio utilizzo tre scatti, anche se di solito ce ne sono molti di più.
Una foto dal punto di vista dell'utente
Scatto quando l’auto è nel primo terzo della foto.

L'Oppo scatta la foto quando l'auto è al centro della foto.

Quando l'auto è sul lato destro dello schermo, è troppo tardi.

Una foto dal punto di vista dello smartphone
Lo smartphone calcola già all'avvio dell'applicazione fotocamera. Cerca punti fissi nella foto, suggerisce che tipo di scena vede. Può essere «notte», «cielo azzurro» o «gatto».
Il telefono riceve l'input dall'utente che deve scattare una foto.

Nel corso dei successivi decimi di secondo, lo smartphone scatta quante più foto possibile.

Poiché un'auto da corsa è piuttosto veloce, potrebbe essere fuori dalla scena alla fine della fase di ripresa.
Quando l’auto inizia un nuovo giro, l'IA nel telefono è ancora al lavoro: analizza il materiale dell'immagine, i tre scatti o di più, e poi mette insieme qualcosa. Poi cancella i dati grezzi. Una foto finita dall'Oppo Reno 4 Pro è di 10 905 kilobyte – piuttosto grande. Se ora ci sono tre scatti, allora ci sono a occhio e croce circa 30 megabyte di dati grezzi. Con 12 scatti sarebbero 120 MB. Nessuno ha bisogno di tutta quella spazzatura di dati.
Così IA pensa a ciò che l'utente vuole vedere sulla foto. Ricorda le impostazioni iniziali e probabilmente immagina che desideri una sorta di panorama della tribuna senza interferenze. Le immagini danno all'IA abbastanza per lavorare. Nelle tre o dodici immagini ci sono abbastanza immagini che raffigurano un po’ di strada senza auto.
Un'immagine iniziale assomiglia a questa:

Un'altra più tardi a questa:

Così l'IA prende il terzo a sinistra e il terzo a destra dal primo scatto e il centro dal secondo. Questi vengono uniti, i colori ottimizzati e si crea il tranquillo panorama notturno. Perché l'idea dell’IA è chiara: l'auto è un fattore di disturbo che non dovrebbe esserci. Troppo veloce, troppo piccolo, quindi via. L'IA è orgogliosa di sé, al fotografo del Nürburgring viene da ridere.
Ulteriori esperimenti dimostrano che l'IA è in grado di riprodurre le luci dell’auto da corsa mentre sfreccia, ma a quanto pare non nel mezzo della foto.

E questo è quanto. Comunque, l’aggiornamento con il software migliorato della fotocamera è arrivato stamattina.


Giornalista. Autore. Hacker. Sono un contastorie e mi piace scovare segreti, tabù, limiti e documentare il mondo, scrivendo nero su bianco. Non perché sappia farlo, ma perché non so fare altro.