Os engenheiros da Apple explicam em uma nova entrevista como eles aproveitaram todo o poder oferecido pelos mais recentes chips da Apple para criar a nova filmagem cinematográfica no iPhone 13 que não sacrificaria a visualização ao vivo-e tudo isso com gradação de cores Dolby Vision HDR quadro a quadro.
DESTAQUES DA HISTÓRIA:
Modo Cinematográfico não seria possível sem o novo chip A15. Ele usa motor Neural para identificar pessoas e realizar outros truques de IA. Além disso, cada quadro passa por gradação de cores Dolby Vision. Tudo isso é executado em tempo real, com visualização ao vivo no aplicativo Câmera 
Crédito de imagem: Apple / Yo uTube
A Apple compartilha o que foi necessário para criar o modo cinematográfico do iPhone 13
Kaiann Drance, vice-presidente mundial de marketing de produtos do iPhone da Apple, junto com Johnnie Manzari, que é designer da empresa Equipe de interface humana, sentou-se com para discutir a tecnologia por trás do Modo Cinematográfico, o novo recurso disponível em todos os novos modelos do iPhone 13.
O Modo Cinematográfico foi descrito como o modo Retrato para vídeo. Com a detecção de olhar, o Modo Cinematográfico foca automaticamente os assuntos conforme eles interagem com a câmera durante a filmagem. Você também pode assumir o controle manual do efeito de profundidade de campo enquanto fotografa e até mesmo alterar o efeito de profundidade de campo posteriormente no aplicativo Fotos.
Para manter a capacidade de ajustar o bokeh em pós-produção, cada quadro do vídeo filmado com o Modo Cinematográfico vem com seu próprio mapa de profundidade.
Sabíamos que trazer uma profundidade de campo de alta qualidade ao vídeo seria magnitudes mais desafiadoras [do que Modo retrato]. Ao contrário das fotos, o vídeo é projetado para se mover conforme a pessoa filma, incluindo um aperto de mão. E isso significava que precisaríamos de dados de profundidade de qualidade ainda mais alta para que o Modo Cinematográfico pudesse trabalhar em assuntos, pessoas, animais de estimação e objetos, e precisávamos desses dados de profundidade continuamente para acompanhar cada quadro. Renderizar essas mudanças de foco automático em tempo real é uma carga de trabalho computacional pesada.
A equipe aproveitou todo o poder do novo chip A15 Bionic da Apple, junto com o acelerador de aprendizado de máquina da empresa chamado Neural engine, ser capaz de codificar vídeo no modo cinematográfico em Dolby Vision HDR. Outra coisa que era prioridade para a equipe é a visualização ao vivo do Modo Cinematográfico no visor.
Crédito da imagem: Apple / YouTube
As equipes da Apple conversaram com alguns dos melhores cineastas e operadores de câmera do mundo. Além disso, eles foram ao cinema para ver exemplos de filmes ao longo do tempo. Ficou claro para eles que o foco e as mudanças de foco “eram ferramentas fundamentais para contar histórias e que nós, como uma equipe multifuncional, precisávamos entender precisamente como e quando eram usados.”
Também era realmente inspirador poder falar com cineastas sobre por que eles usam profundidade de campo rasa. E a que propósito serve na narrativa. E o que fizemos foi, e esta é, na verdade, uma visão bastante atemporal: você precisa guiar a atenção do espectador.
Ao explicar por que a precisão é fundamental, Manzari observou que a Apple aprendi durante o desenvolvimento do recurso Modo Retrato que simular bokeh é realmente difícil. “Um único erro-perder alguns centímetros… isso foi algo que aprendemos no Modo Retrato”, disse ele. “Se você está no ouvido e não nos olhos deles. É descartável. ”
O Modo Cinematográfico também usa dados de sensores como o acelerômetro:
Mesmo enquanto você está filmando, o poder é evidente, pois a visualização ao vivo oferece uma visão muito precisa do que você vai ver. E enquanto você grava, o iPhone usa sinais de seu acelerômetro para prever se você está se aproximando ou se afastando do assunto em que ele travou, para que possa ajustar o foco rapidamente para você.
E isso sobre a detecção do olhar:
Ao mesmo tempo, usa o poder do “olhar”. Essa detecção de olhar pode prever para qual assunto você pode querer mover em seguida e se uma pessoa em sua cena olhar para outra ou para um objeto no campo, o sistema pode direcionar o foco automaticamente para esse assunto.
E como a câmera sobrevoa a cena, ela também pode fazer a previsão do assunto:
Um extrator de foco não espera que o assunto esteja totalmente enquadrado antes de fazer o rack, eles’estão se antecipando e eles começaram o rack, antes mesmo que a pessoa estivesse lá. E percebemos que, ao operar o sensor completo, podemos antecipar esse movimento. E, quando a pessoa aparecer, ela já estará focada nela.
Relataremos mais sobre o modo cinematográfico quando tivermos a chance de brincar com ele.
O (s) problema (s) com o Modo Cinematográfico
Como um recurso de uso intensivo de recursos, o Modo Cinematográfico tem sua cota de problemas iniciais.
Assim como nos primeiros dias do modo Retrato nos trouxe cabelos borrados e halo ao redor dos assuntos, estamos vendo problemas semelhantes com o Modo Cinematográfico. E mesmo com todo o poder do silício da Apple à sua disposição, o Modo Cinematográfico se limita a gravar em resolução 1080p a 30fps.
Joanna Stern do The Wall Street Journal é a única grande revisora de tecnologia que se concentra quase exclusivamente (trocadilho intencional) no modo cinematográfico em sua análise do iPhone 13 Pro Resumindo, ela não acha que o Modo Cinematográfico está pronto para o horário nobre, ainda.
Com os vídeos, caramba, eu estava realmente empolgado com o novo modo Cinematográfico. Aaaand gosh, foi uma decepção. O recurso-que você pode chamar de “modo retrato para vídeo”-adiciona desfoque artístico ao redor do objeto em foco. O mais legal é que você pode tocar para refocar enquanto fotografa (e até mesmo fazer isso depois no aplicativo Fotos).
Exceto, como você pode ver no meu vídeo, o software se esforça para saber onde os objetos começam e fim. É muito parecido com os primeiros dias do Modo Retrato, mas é pior porque agora o desfoque se move e deforma. Eu fiz uma filmagem em que o software perdia partes do nariz e dos dedos e lutava com itens como um telefone ou câmera.
Para ver o verdadeiro potencial desses recursos, certifique-se de assistir a duas músicas vídeos que o cinegrafista Jonathan Morisson filmou no Modo Cinematográfico com sua câmera do iPhone 13 Pro, sem usar equipamentos adicionais, como cardan. Espere alguns anos e estaremos gravando vídeos de profundidade de campo com nossos iPhones em 4K Dolby Vision HDR a 60 quadros por segundo.
