Meta hat derzeit einige technische Fortschritte bei VR-Headsets gemacht. Es stößt jedoch immer noch auf viele technische Engpässe, für die es derzeit keine Lösung gibt. In seiner Rede auf der SIGGRAPH gab uns Douglas Lanman, Head of Display Systems Development bei Meta, einige Hinweise. Ihm zufolge gibt es zehn Herausforderungen, die Lösungen erfordern, um das VR-Erlebnis auf die nächste Stufe zu heben. Wer bei diesen Herausforderungen die Führung übernehmen kann, sollte die Oberhand im immer härter werdenden Metaverse Hardware Entry Competition gewinnen.
Engpässe bei Meta-VR-Headsets
1. Auflösung: Meta entwickelt einen Butterscotch-Prototyp zur Verbesserung der Auflösung
Um das Eintauchen der Benutzer zu steigern und virtuelle Welten realistischer und klarer aussehen zu lassen, müssen VR-Headsets höhere Auflösungen haben. Die Auflösung aktueller VR-Headsets ist sehr weit vom Niveau des menschlichen Sehens entfernt. Meta sagt, dass ihr ursprüngliches Ziel darin besteht, eine 8K-Auflösung pro Auge und 60 PPD (Pixeldichte) zu erreichen. Aber derzeit unterstützt Quest 2 nur 2K-Auflösung und 20PPD pro Auge, was noch weit von diesem Ziel entfernt ist.
Um die Auflösung von VR-Headsets zu erhöhen, hat Meta einen Butterscotch-Prototyp entwickelt, der sich auf die Erforschung von Auflösungen konzentriert. Insofern ist die Entwicklung und Produktion von hochauflösenden Displays nicht schwierig. Die Schwierigkeit liegt darin, hochauflösende Displays mit entsprechender Rechenleistung auszustatten. Lanman weist darauf hin, dass zwei Technologien, Foveated Rendering und Cloud Streaming, helfen können, die Rechenleistung zu verbessern. Allerdings ist die Entwicklung dieser beiden Technologien auch sehr schwierig.
Oben: VR-Effekt der gewöhnlichen Unschärfeverarbeitung; Unten: Blur-Effekt der foveated Rendering-Technologie
2. Sichtfeld: Der FoV von Meta VR-Headsets ist doppelt so klein wie der des menschlichen Auges
Das durchschnittliche horizontale Sichtfeld des Menschen beträgt 200 Grad. Leider haben die meisten aktuellen kommerziellen VR-Headsets ein horizontales Sichtfeld von 100 Grad. Das bedeutet, dass das Sichtfeld eines VR-Headsets enger ist als das, was wir in einer realen Umgebung sehen. Darüber hinaus gibt es bei VR-Headsets Raum für Verbesserungen in Bezug auf das vertikale Sichtfeld.
Je breiter das Sichtfeld ist, desto mehr Pixel kann das VR-Headset darstellen. Dies erfordert eine höhere Leistung und mehr Abwärme. Wenn die Sichtlinie erweitert wird, wird außerdem das Bild am Rand der Sichtlinie leicht verzerrt. Daher erfordert eine breitere Sichtlinie eine bessere Unterstützung der Linsentechnologie. Und die Forscher wollen auch sicherstellen, dass die Linsen und das Display so gebaut sind, dass der Formfaktor des VR-Headsets nicht erhöht wird.
3. Ergonomie: VR-Headsets sind nicht angenehm genug zu tragen
Die meisten aktuellen VR-Headsets sind tendenziell etwas „klobig“, wie das Quest 2, das über 500 Gramm wiegt und eine Gerätedicke (aus dem Gesicht hervorstehend) hat ) von 8cm. Ein solches Gerät bringt dem Benutzer offensichtlich kein gutes Tragegefühl. Das ideale VR-Gerät sollte dünner und leichter sein, damit Benutzer es über lange Zeiträume bequem tragen können. Pfannkuchenlinsen und holografische Linsen können dazu beitragen, die Größe des Headsets zu reduzieren, und Metas Holocake 2-Prototyp untersucht derzeit diese Richtung. Es hat sich jedoch noch nicht zur Massenproduktion entwickelt.
„Sonnenbrille“ ist ein Prototyp des Holocake 1, und der transparente ist der Oculus Rift im Jahr 2016
4. Sehkorrekturanzeige: Vorerst keine kostengünstige Sehkorrekturanzeige
Bessere VR-Headsets sollten Sehkorrekturfunktionen haben, die es Benutzern ermöglichen, keine normale Brille unter der VR-Brille tragen zu müssen. Dieses Problem kann mit speziellen Objektivaufsätzen gelöst werden, aber dies ist keine ideale Lösung. Die beste Lösung ist, wenn das Display des Headsets über eine eigene Sehkorrekturfunktion verfügt, sodass sich der Headset-Designer nicht mehr um Fragen wie das Anpassen einer Brille kümmern muss. Aber die Herausforderung besteht darin, eine Lösung zu finden, die billig herzustellen ist und dem Headset kein zusätzliches Gewicht hinzufügt.
Linsenzubehör mit Sehkorrekturfunktionen gibt es bereits, aber sie sind keine idealen Lösungen
5. Zoom: Der Meta-Prototyp Half Dome kann den Zoom des menschlichen Auges erreichen
In der natürlichen Umgebung kann das menschliche Auge natürlich zoomen, um Bilder aus verschiedenen Entfernungen zu sehen. Aber in VR-Headsets kann das menschliche Auge nicht zoomen oder den Unterschied zwischen nahen und fernen Objekten sehen, da sich der Abstand zwischen dem menschlichen Auge und dem Bildschirm nicht ändert. Es gibt ein Vergenz-Unterkunfts-Konfliktproblem. Daher erleben Benutzer manchmal Augenermüdung, sogar Kopfschmerzen und Erbrechen. Um dieses Problem zu lösen, haben Forscher von Meta Half Dome entwickelt, eine Reihe von Prototypen, die „progressives Sehen“ unterstützen. Half Dome kann verschiedene Fokusebenen simulieren, die unterschiedliche Grade an Unschärfe zeigen und so dem menschlichen Auge helfen, den Fokus in der virtuellen Welt anzupassen.
Die Pupille ändert sich mit der Entfernung des Objekts
6. Eyetracking: Es ist schwierig, sich an die Augenbedingungen aller anzupassen
Eyetracking ist eine Schlüsseltechnologie in der virtuellen Realität. Es ist die Basis für viele weitere wichtige VR-Technologien wie Zoom, Verzeichnungskorrektur und mehr. Durch diese Technologie können Benutzer Augenkontakt mit anderen Benutzern in der virtuellen Welt herstellen und ein realistischeres soziales Erlebnis haben. Das Problem ist, dass jeder eine andere Pupillenform hat und Augenlider und Wimpern bei jedem anders wachsen, sodass die aktuelle Eye-Tracking-Technologie nicht für alle Benutzer gut geeignet ist. Daher wird das Lanman-Team umfassend mehr Benutzerdaten sammeln, um die Eye-Tracking-Technologie zu verbessern und sich darum zu bemühen, sie für mehr Menschen geeignet zu machen.
Die Form der Pupille variiert von Person zu Person, was eine Herausforderung für die Eye-Tracking-Technologie darstellt
7. Verzerrungskorrektur: Meta hat einen Verzerrungssimulator entwickelt, um die Iteration des Algorithmus zu beschleunigen
Die Bewegung der Pupille kann das Bild verzerren, wodurch das Immersionsgefühl des Benutzers verringert wird, insbesondere bei Verwendung mit Zoom-Technologie. Um den Korrekturalgorithmus zu entwickeln, müssen Forscher die Anpassung an einem physischen Headset testen, aber die Herstellung von Headsets kann Wochen oder sogar Monate dauern, was Iterationen des Algorithmus erheblich verzögert. Um dieses Problem zu lösen, hat das Meta-Forschungsteam einen Verzerrungssimulator entwickelt. Mit diesem Simulator können Forscher Korrekturalgorithmen testen, ohne Test-Headsets und Spezialobjektive herzustellen.
Das rote Licht ist unkorrigiert, das blaue Licht ist das korrigierte Ergebnis
8. High Dynamic Range (HDR): Die Spitzenhelligkeit des Starburst-Prototyps beträgt 20000 nit
Physische Objekte und Umgebungen sind viel heller als VR-Headsets, und um dies anzugehen, hat Meta den Starburst-Prototypen entwickelt. Die Spitzenhelligkeit von Starburst beträgt 20000 nit, was dem 200-fachen der bestehenden Quest 2 entspricht. Starburst kann geschlossene Räume und Lichtverhältnisse bei Nacht realistischer simulieren, wodurch virtuelle Umgebungen realistischer aussehen. Derzeit ist Starburst jedoch schwer und verbraucht viel Energie. Meta glaubt, dass HDR mehr zum visuellen Realismus beiträgt als Auflösung und Zoom, aber die Technologie ist am weitesten von der praktischen Anwendung entfernt.
Nahaufnahme des Starburst-Prototyps
9. Visueller Realismus: Die Passthrough-Technologie ist noch nicht ausgereift
Bessere VR-Headsets sollten es VR-Benutzern auch ermöglichen, mit der realen Welt in Kontakt zu bleiben. VR-Headsets können reale Umgebungsinformationen aufzeichnen und als Videobild in der virtuellen Realität anzeigen. Diese als „Passthrough“ bezeichnete Technik wurde in kommerziellen VR-Headsets implementiert, aber die Qualität ist schlecht. Zum Beispiel bietet das Quest 2 einen Schwarz-Weiß-Perspektivmodus, während Metas kommendes High-End-VR-Headset „Quest Pro“ auf höhere Auflösungen und Farbperspektiven abzielt.
VR-Headsets haben dies jedoch noch eine perfekte Rekonstruktion der physischen Umgebung zu erreichen. Die Perspektive des durch die Perspektiventechnologie erfassten Bildes weicht räumlich vom Auge ab, und Benutzer können sich bei längerer Verwendung unwohl fühlen. Daher arbeitet Meta an einer KI-gestützten Sichtliniensynthese, die perspektivisch korrekte Standpunkte in Echtzeit mit hoher visueller Genauigkeit generiert.
Zusätzlich arbeitet Meta an einem „Reverse Passthrough“ Funktion, die es einem realen Benutzer ermöglichen würde, die Brille und das Gesicht des VR-Benutzers zu sehen, um Augenkontakt herzustellen. Aber derzeit ist die Technologie visuell unpassend, unnatürlich und noch lange nicht marktreif.
Links befindet sich ein Oculus Rift, das dem VR-Nutzer die Sicht versperrt. Rechts ist ein früher umgekehrter „durchsichtiger“ Prototyp
10. Gesichtsrekonstruktion: Meta forscht am Projekt „virtueller Avatar“
Meta hofft, dass sich Menschen in Zukunft in einer virtuellen Umgebung so real wie in der Realität begegnen. Zu diesem Zweck arbeitet Meta an einem Forschungsprojekt namens Codec Avatars, das sich der Erstellung digitaler 3D-Avatare für Menschen in virtuellen Umgebungen widmet.
Quest Pro kann Gesichtsausdrücke erkennen und an VR-Geräte übertragen
Derzeit VR-Headsets kann die Mimik von VR-Nutzern in Echtzeit lesen und in die virtuelle Realität übertragen. Es gibt Berichte, dass das kommende Quest Pro das erste Gerät von Meta sein könnte, das Gesichtsverfolgung anbietet.
