Apple a fait des recherches pour intégrer l’imagerie panoramique en champ lumineux à l’appareil photo de l’iPhone, une fonctionnalité qui vous permettrait de vous immerger tout en explorant des scènes capturées avec parallaxe, séparation claire des objets et autres effets visuels en réalité virtuelle ou augmentée.
POINTS FORTS DE L’HISTOIRE :
- Apple a obtenu un brevet pour l’imagerie par champ lumineux sur iPhone et iPad
- L’invention reproduit les fonctionnalités fournies par les caméras plénoptiques
- De telles images prendraient vie en réalité virtuelle ou augmentée
Apple recherche l’imagerie du champ lumineux sur iPhone et iPad
Les caméras plénoptiques comme le Lytro y parviennent en utilisant un ensemble de micro-lentilles placées devant un capteur d’image pour détecter la couleur, l’intensité et les informations directionnelles. Dans les smartphones, l’espace étant limité, Apple a proposé une solution qui ne nécessite pas de réseau d’objectifs.
Dans un brevet récemment délivré intitulé « Capture, traitement et affichage du champ lumineux panoramique », l’iPhone Le fabricant envisage d’utiliser des gestes de la main pour inciter l’appareil photo de l’iPhone à capturer une scène à partir de différentes positions. L’un des gestes illustrés consiste à déplacer un iPhone ou un iPad dans un symbole de l’infini plongeant pour capturer une scène sous plusieurs angles.
En revanche, les panoramas réguliers que vous pouvez capturer sur votre iPhone en ce moment impliquent de déplacer l’appareil de gauche à droite ou de haut en bas afin de capturer une séquence d’images de une scène, plus tard assemblée pour former une photographie grand angle. Dans la photographie en champ lumineux, un appareil capture à la fois la couleur et la direction dans laquelle les rayons lumineux se déplacent dans l’espace.
Les informations des capteurs embarqués comme la position de la caméra et l’orientation de l’appareil sont également capturées. L’algorithme d’Apple stockerait ensuite les images individuelles, leurs positions relatives et les informations de profondeur sous la forme d’un panorama de champ lumineux avec lequel on pourrait ultérieurement interagir de plusieurs manières.
Capturer des images de champ lumineux entraînerait des avantages qui ne se limitent pas à une profondeur sélective. de champ (ce que fait déjà l’appareil photo de l’iPhone) ou déterminer la direction des rayons lumineux.
Exploration des images de champ lumineux en AR et VR
In dans un mode de réalisation, un utilisateur peut parcourir différentes vues 3D de la scène. Étant donné que le système connaît les positions relatives des images et des objets individuels, il peut permettre à un utilisateur d’explorer la scène sous différentes positions et angles avec six degrés de liberté.
Vous pouvez voir certaines des plus pratiques applications de la technologie émergente d’imagerie par champ lumineux sur une vidéo publiée dans les documents techniques SIGGRAPH 2020.
Lorsqu’il est expérimenté sur un visiocasque (Apple travaillerait sur de telles choses), un spectateur peut voir derrière ou au-dessus des objets de la scène, zoomer ou dézoomer sur la scène ou la vue différentes parties de la scène, explique Apple. Ajoutez un effet de parallaxe au mélange et vous obtenez une expérience de réalité augmentée très immersive basée sur vos propres images panoramiques de champ lumineux.
Comme l’écrit Apple dans les documents de brevet délivrés :
L’image capturée est sensible à la parallaxe en ce sens que lorsque l’image est rendue en réalité virtuelle, les objets de la scène se déplaceront correctement en fonction de leur position dans le monde et de la position relative du spectateur par rapport à eux. De plus, le contenu de l’image semble photographiquement réaliste par rapport aux rendus de contenu généré par ordinateur qui sont généralement visualisés dans les systèmes de réalité virtuelle.
Un spectateur serait également capable de traduire dans différentes directions et de pivoter avec le contenu, une autre fonctionnalité intéressante lors de l’exploration de ces choses en réalité virtuelle ou augmentée.
→ Conseils de photographie sur iPhone que tout le monde devrait connaître
Apple affirme que les technologies d’imagerie à 360 degrés existantes comme la photosphère ne permettent que trois degrés de liberté qui limitent l’expérience à la rotation de la tête. Les photosphères ne prennent pas en charge la traduction de l’utilisateur à travers le contenu comme ils le peuvent lors de l’exploration du panorama du champ lumineux.
Pour en savoir plus sur ce brevet, visitez le site Web de l’USPTO.