Les futures caméras iPhone qui capturent la direction de la lumière peuvent fournir plus de détails 3D qui amélioreront Apple AR expériences virtuelles.
Les caméras iPhone actuelles capturent l’intensité de la lumière dans une scène, mais les futures caméras pourraient en faire plus. En utilisant la photographie en champ lumineux, le système de caméra pourrait capturer la direction dans laquelle la lumière se déplace et enregistrer les positions des différents objets en vue.
C’est l’idée au cœur de”Capture, traitement et affichage du champ lumineux panoramique”, un brevet nouvellement accordé.
Il s’agit de savoir comment un appareil tel qu’un iPhone pourrait être utilisé pour capturer des images et créer des données pour un AR l’expérience en tant qu’utilisateur se promène librement.
“[Le brevet détaille un] système de panorama à champ lumineux dans lequel un utilisateur tenant un appareil mobile effectue un geste pour capturer des images d’une scène à partir de différentes positions », explique le brevet.”Des informations supplémentaires, par exemple des informations de position et d’orientation, peuvent également être capturées.”
“Les images et les informations peuvent être traitées pour déterminer les métadonnées, y compris les positions relatives des images et les informations de profondeur pour les images”, poursuit-il.”Le panorama du champ lumineux peut être traité par un moteur de rendu pour rendre différentes vues 3D de la scène afin de permettre à un spectateur d’explorer la scène sous différentes positions et angles avec six degrés de liberté.”
Vous avez vu des images 3D où votre position est fixe et autant que vous pouvez vous retourner, ou regarder de haut en bas, vous ne pouvez pas avancer ou contourner des objets. Pour que la réalité augmentée soit plus immersive, Apple doit pouvoir enregistrer plus d’informations, puis les afficher également.
“En utilisant un système de rendu et de visualisation tel qu’un appareil mobile ou un visiocasque”, explique Apple,”le spectateur peut voir derrière ou au-dessus des objets de la scène, zoomer ou dézoomer sur la scène, ou voir différentes parties de la scène.”
Détail modifié du brevet montrant comment les gestes peuvent capturer des informations qui sont ensuite relayées pour être affichées en AR
Le résultat escompté est que le”contenu grand angle capturé d’une scène”est”sensible à la parallaxe”. Ainsi, « lorsque l’image est rendue en réalité virtuelle, les objets de la scène se déplacent correctement en fonction de leur position dans le monde et de la position relative du spectateur par rapport à eux ».
“En outre”, poursuit Apple,”le contenu de l’image semble photographiquement réaliste par rapport aux rendus de contenu généré par ordinateur qui sont généralement visualisés dans les systèmes de réalité virtuelle.”
Ce brevet est attribué à six inventeurs, dont Ricardo J. Motta et Gary L. Vondran, Jr. Leur les travaux antérieurs incluent un brevet accordé concernant la capture de champ lumineux pour AR.
Comme c’est normal pour les brevets, celui-ci se concentre sur les technologies clés et ne se concentre pas particulièrement sur l’une ou l’autre utilisation cas ou des problèmes potentiels. Dans ce cas, un problème clé est que l’appareil qui capture les détails 3D doit être puissant-et peut-être plus puissant qu’un téléphone.
Capture d’images vers une station de base
Par conséquent, il existe un brevet distinct : également nouvellement accordé — ce qui correspond exactement à cela. Le « pipeline vidéo » concerne la façon dont un appareil comme un iPhone ou un HMD pourrait capturer des données d’image qui sont ensuite envoyées sans fil à un autre appareil, comme une station de base, pour traitement.
“La station de base peut fournir plus de puissance de calcul que les systèmes autonomes conventionnels”, déclare Apple,”et la connexion sans fil n’attache pas l’appareil à la station de base comme dans les systèmes attachés conventionnels.”
Il s’agit de faire un compromis entre la portabilité et la puissance de traitement.
“Les systèmes autonomes permettent aux utilisateurs une liberté de mouvement”, poursuit Apple,”cependant, en raison des contraintes, notamment taille, poids, batteries et chaleur, les appareils autonomes sont généralement limités en termes de puissance de calcul et donc limités dans la qualité du contenu qui peut être rendu.
“Les stations de base des systèmes connectés peuvent fournir plus de puissance de calcul et donc un rendu de meilleure qualité que les appareils autonomes”, explique Apple,”cependant, le câble physique attache l’appareil à la station de base et contraint ainsi les mouvements de l’utilisateur.”
La proposition d’Apple concerne donc un système sans fil. Cependant, le brevet ne concerne pas seulement la présentation de systèmes de réception de données à partir d’appareils de capture, il s’agit de les afficher en retour.
“L’appareil [de capture] peut inclure des capteurs qui collectent des informations sur l’environnement de l’utilisateur et sur l’utilisateur,”dit Apple.”Les informations collectées par les capteurs peuvent être transmises à la station de base via la connexion sans fil.”
Détail du brevet montrant un appareil mobile connecté sans fil à une station de base plus puissante
“[Ensuite, la] station de base restitue des trames ou des tranches en fonction au moins en partie des informations du capteur reçues de l’appareil, encode les trames ou tranches, et transmet les trames ou tranches compressées à l’appareil pour décodage et affichage”, poursuit Apple.”Le système peut mettre en œuvre des procédés et un appareil pour maintenir un taux de trame cible via la liaison sans fil et pour minimiser la latence dans le rendu, la transmission et l’affichage des trames.”
Tenez-vous au courant de tout Apple dans le podcast hebdomadaire AppleInsider-et obtenez une mise à jour rapide d’AppleInsider Daily. Dites simplement « Hé, Siri » à votre HomePod mini et demandez ces podcasts, ainsi que notre dernier épisode HomeKit Insider.
Si vous voulez une expérience principale AppleInsider Podcast sans publicité, vous pouvez prendre en charge le Podcast AppleInsider en vous abonnant pour 5 $ par mois via l’application Podcasts d’Apple, ou via Patreon si vous préférez un autre lecteur de podcast.
AppleInsider vous propose également les meilleures offres Apple pour Amazon Prime Day 2021. Il y a des bonnes affaires avant, pendant et même après le Prime Day les 21 et 22 juin-avec toutes les offres à portée de main tout au long de l’événement.
