La fotografia computazionale di Apple mira al realismo
Una controversia con le fotocamere dei telefoni Samsung ha rinnovato la conversazione sulla fotografia computazionale e ha evidenziato la differenza tra essa e l’approccio di Apple in iOS.
Non è un grande segreto che Apple fa affidamento su algoritmi avanzati e fotografia computazionale per quasi tutte le funzionalità della fotocamera dell’iPhone. Tuttavia, gli utenti stanno iniziando a chiedersi dove tracciare il confine tra questi algoritmi e qualcosa di più invadente, come l’alterazione dei pixel post-acquisizione.
In questo pezzo, esamineremo la controversia che circonda le foto della luna di Samsung, come l’azienda affronta la fotografia computazionale e cosa significa per Apple e i suoi concorrenti in futuro.
Fotografia computazionale
La fotografia computazionale non è un concetto nuovo. È diventato necessario poiché le persone desideravano maggiori prestazioni dalle loro minuscole fotocamere per smartphone.
L’idea di base è che i computer possono eseguire miliardi di operazioni in un momento, come dopo la pressione dell’otturatore della fotocamera, per sostituire la necessità di modifiche di base o applicare correzioni più avanzate. Più possiamo programmare il computer per fare dopo la pressione dell’otturatore, migliore può essere la foto.
Tutto è iniziato con il sistema a doppia fotocamera di Apple su iPhone 7. Altre innovazioni fotografiche prima di allora, come Live Photos, potevano essere considerate fotografie computazionali, ma la modalità Ritratto è stata il punto di svolta per Apple.
Apple ha introdotto la modalità Ritratto nel 2016, che ha preso i dati di profondità dalle due fotocamere dell’iPhone 7 Plus per creare un bokeh artificiale. La società ha affermato che era possibile grazie al sistema a doppia fotocamera e all’avanzato processore del segnale di immagine, che ha condotto 100 miliardi di operazioni per foto.
Inutile dire che non era perfetto, ma è stato un passo nel futuro della fotografia. La tecnologia della fotocamera continuerebbe ad adattarsi al fattore di forma dello smartphone, i chip diventerebbero più veloci e i sensori di immagine diventerebbero più potenti per pollice quadrato.
La modalità Ritratto utilizza la fotografia computazionale per separare primo piano
Nel 2023, non è raro girare video sfocati in modo cinematografico utilizzando motori di calcolo avanzati con risultati contrastanti. La fotografia computazionale è ovunque, dal motore fotonico agli stili fotografici: un algoritmo elabora ogni foto scattata su iPhone. Sì, anche ProRAW.
Tutto ciò è stato reso necessario dal desiderio delle persone di catturare la loro vita con il dispositivo che avevano a portata di mano: il loro iPhone. Le fotocamere dedicate hanno la fisica dalla loro parte con sensori di grandi dimensioni e obiettivi giganti, ma la persona media non vuole spendere centinaia o migliaia di dollari per un impianto dedicato.
Quindi, la fotografia computazionale è intervenuta per migliorare ciò che i minuscoli sensori degli smartphone possono fare. Algoritmi avanzati basati su database di grandi dimensioni informano il processore del segnale di immagine su come acquisire l’immagine ideale, elaborare il rumore ed esporre un soggetto.
Tuttavia, c’è una grande differenza tra l’utilizzo della fotografia computazionale per migliorare le capacità della fotocamera e l’alterazione di un’immagine basata su dati che il sensore non ha mai catturato.
Il colpo di luna di Samsung
Per essere chiari: Apple sta utilizzando modelli di apprendimento automatico o”AI, Intelligenza Artificiale”per coloro che utilizzano la nuova parola d’ordine popolare mal coniata — per la fotografia computazionale. Gli algoritmi forniscono informazioni sul controllo delle acquisizioni multi-immagine per produrre i migliori risultati o creare profili di profondità di campo.
Il processore di immagini analizza il tono della pelle, i cieli, le piante, gli animali domestici e altro ancora per fornire una corretta colorazione ed esposizione, non la sostituzione dei pixel. Non sta cercando oggetti, come la luna, per fornire miglioramenti specifici basati su informazioni al di fuori del sensore della fotocamera.
Lo stiamo sottolineando perché coloro che discutono delle foto della luna di Samsung hanno utilizzato la fotografia computazionale di Apple come esempio di come altre aziende eseguono queste alterazioni fotografiche. Semplicemente non è così.
L’algoritmo lunare di Samsung in azione. Attestazione: u/ibreakphotos su Reddit
Samsung ha documentato come i telefoni Samsung, a partire dal Galaxy S10, hanno elaborato le immagini utilizzando il riconoscimento e l’alterazione degli oggetti. Lo Scene Optimizer ha iniziato a riconoscere la luna con il Galaxy S21.
Come descrive il documento pubblicato di recente,”AI”riconosce la luna attraverso i dati appresi e la funzione del motore di miglioramento dei dettagli viene applicata per rendere la foto più chiara con la sintesi multi-frame e l’apprendimento automatico.
Fondamentalmente, i dispositivi Samsung riconosceranno una luna non oscurata e quindi utilizzeranno altre immagini e dati ad alta risoluzione sulla luna per sintetizzare un output migliore. Il risultato non è un’immagine catturata dalla fotocamera del dispositivo, ma qualcosa di nuovo e fabbricato.
Nel complesso, questo sistema è intelligente perché la luna ha lo stesso aspetto indipendentemente da dove la si guardi sulla terra. L’unica cosa che cambia è il colore della luce riflessa dalla sua superficie e la fase della luna stessa. Migliorare la luna in una foto sarà sempre un calcolo semplice.
Sia i dispositivi Samsung che quelli Apple eseguono un’esposizione multi-foto per calcoli avanzati. Entrambi analizzano più immagini acquisite per la parte migliore di ciascuna e le fondono in un’unica immagine superiore. Tuttavia, Samsung aggiunge un ulteriore passaggio per oggetti riconosciuti come la luna, che introduce nuovi dati da altre immagini lunari ad alta risoluzione per correggere la luna nell’immagine finale catturata.
Spiegazione dell’algoritmo della luna di Samsung. Credito: Samsung
Non è necessariamente una cosa negativa. Semplicemente non è qualcosa che Samsung non ha chiarito nella sua pubblicità o nel marketing del prodotto, il che potrebbe creare confusione nei clienti.
Il problema con questo processo, e il motivo per cui esiste un dibattito, è come questo influenzi il futuro della fotografia.
Per farla breve, l’immagine finale non rappresenta ciò che il sensore ha rilevato e l’algoritmo ha elaborato. Rappresenta una versione idealizzata di ciò che potrebbe essere possibile ma non lo è perché il sensore e l’obiettivo della fotocamera sono troppo piccoli.
L’imminente battaglia per il realismo
Dal nostro punto di vista, il principio chiave della fotografia per iPhone è sempre stato il realismo e la precisione. Se c’è un mezzo perfetto in saturazione, nitidezza ed esposizione, Apple ha avuto una tendenza vicina al centro nell’ultimo decennio, anche se non è sempre rimasta perfettamente coerente.
Riconosciamo che la fotografia è incredibilmente soggettiva, ma sembra che la fotografia Android, in particolare Samsung, si sia allontanata dal realismo. Ancora una volta, non necessariamente una scelta negativa, ma un’opinione fatta da Samsung che i clienti devono affrontare.
Per quanto riguarda questa discussione, i dispositivi Samsung e Pixel si sono lentamente allontanati da quel centro di rappresentazione realistico ideale. Stanno gareggiando per più saturazione, nitidezza o esposizione notturna simile al giorno.
L’esempio sopra mostra come il Galaxy S22 Ultra abbia favorito una maggiore esposizione e saturazione, il che ha portato a una perdita di dettagli. Scelte innocenti e supponenti, ma l’iPhone 13 Pro, in questo caso, torna a casa con una foto più dettagliata che può essere modificata in seguito.
Questa differenza nel modo in cui le foto vengono catturate è impostata negli algoritmi supponenti utilizzati da ciascun dispositivo. Man mano che questi algoritmi avanzano, le future decisioni sulla fotografia potrebbero portare a scelte più supponenti che non possono essere annullate in seguito.
Ad esempio, modificando l’aspetto della luna utilizzando algoritmi avanzati senza avvisare l’utente, quell’immagine viene modificata per sempre per adattarsi a ciò che Samsung ritiene sia l’ideale. Certo, se gli utenti sanno di disattivare la funzione, potrebbero, ma probabilmente non lo faranno.
Siamo entusiasti del futuro della fotografia, ma come appassionati di fotografia, speriamo che non sia così invisibile. Come la modalità verticale di Apple, le foto in diretta e altre tecniche di elaborazione, attivala con ovvie opzioni. Inoltre, rendilo reversibile.
Toccando l’otturatore nell’app della fotocamera principale di un dispositivo, dovresti scattare una foto rappresentativa di ciò che vede il sensore. Se l’utente desidera di più, lascia che scelgano di aggiungerlo tramite alternanza prima o modificando dopo.
Per ora, prova a scattare foto del cielo notturno con nient’altro che il tuo iPhone e un treppiede. Funziona.
Perché è importante
È importante sottolineare che non c’è alcun problema nel sostituire la brutta palla luminosa nel cielo con una vera luna, né c’è un problema con la rimozione di persone o spazzatura (o persone spazzatura) da una foto. Tuttavia, deve essere un processo controllabile, attivabile e visibile per l’utente.
La fotografia computazionale è il futuro, nel bene e nel male
Man mano che gli algoritmi avanzano, vedremo immagini più idealizzate ed elaborate dagli smartphone Android. I peggiori trasgressori rimuoveranno o sostituiranno gli oggetti senza preavviso.
Apple migliorerà inevitabilmente l’elaborazione e gli algoritmi delle immagini sul dispositivo. Ma, in base a come l’azienda si è avvicinata alla fotografia finora, ci aspettiamo che lo faccia rispettando il desiderio di realismo dell’utente.
Il tribalismo nella comunità tecnologica ha sempre fatto scoppiare dibattiti tra gli utenti. Questi hanno incluso Mac o PC, iPhone o Android e, presto, foto reali o ideali.
Ci auguriamo che Apple continui a scegliere il realismo e il controllo dell’utente sulle foto in futuro. Dare a un’azienda il controllo completo e supponente su ciò che l’utente cattura con una fotocamera, fino all’alterazione delle immagini per adattarle a un ideale, non sembra un futuro di cui vogliamo far parte.
