Apple hat am Mittwoch sein visionOS SDK und seine Entwicklertools veröffentlicht, zusammen mit weiteren Informationen zur Entwicklung für Apple Vision Pro. Hier finden Sie eine Übersicht darüber, was es ist, was es kann und wie Sie damit beginnen können.
Apples SDK für Apple Vision Pro ist in der zweiten Xcode-Beta enthalten. Es umfasst Befehlszeilentools für Xcode 15 Beta 2, Schriftartentools für Xcode 15 Beta und die visionOS 1 Beta Simulator Runtime, die als.dmg-Disk-Image-Datei verpackt ist.
Um die neuen SDK-und Xcode-Betadateien zu erhalten, gehen Sie zu Developer.apple.com/download/und melden Sie sich mit Ihrer Apple-ID an. Diese Tools sind in der neuen kostenlosen Entwicklermitgliedschaft enthalten.
So installieren Sie die Apple Vision Pro-Entwicklersoftware
Sie benötigen den Xcode 15 Beta 2-Download, der die Xcode 15 Beta 2-App selbst, macOS 14 Beta 2 und verschiedene Simulatoren enthält. Sie benötigen außerdem die Befehlszeilentools für Xcode 15 Beta 2 und Xcode 15 Beta 2, die auch macOS 14 Beta 2 enthalten.
Wenn Sie dies noch nicht getan haben, laden Sie auch die Schriftartentools für Xcode herunter 15 Beta unten auf der Seite, veröffentlicht am 5. Juni.
Wenn Sie Xcode 15 Beta 2 herunterladen, aktivieren Sie unbedingt das Kontrollkästchen visionOS Beta 1 unten in der Liste, das satte 6,85 GB wiegt:
Beachten Sie, dass Sie in allen Fällen auch die iOS-Download-Komponenten benötigen.
Dies stellt die von Apple immer noch als xrOS 1.0.simruntime bezeichnete Datei in einer.dmg-Datei bereit, die Sie in Xcode importieren, um den visionOS-Simulator zu installieren (mehr dazu weiter unten).
Zusätzliche Downloads für die Apple Vision Pro-Entwicklersoftware
Die Lernkurve für visionOS kann ziemlich steil sein – sie umfasst neben dem reinen Programmieren auch mehrere Computerdisziplinen. Dazu gehören 3D-Objekt-und Szenendesign, Augmented Reality (AR), Materialien und Oberflächen sowie Beleuchtung und Rendering.
Zusätzlich zu den Xcode-Teilen möchten Sie einige zusätzliche Elemente lernen und erwerben, die vom AR-Ökosystem von Apple verwendet werden:
ARKit 6 RealityKit Reality Composer-App AR Quick Look-Plugin für 3D-Objektdateien Vorschauen
Die meisten davon sind auf der Entwicklerseite von Apple unter developer.apple.com/augmented-reality/ verfügbar.
Apples Reality Composer.
Das SDK enthält auch Reality Composer Pro, der auf der WWDC 23 im visionOS versprochen wurde Präsentationen. Reality Composer Pro ist eine App zur Vorbereitung und Vorschau von 3D-Inhalten für visionOS.
Als Teil der SDK-Veröffentlichung hat Apple auch die Betaversion von Reality Converter veröffentlicht, mit der Sie zwischen AR-Dateiformaten wie.obj,.gltf und.usd konvertieren und sie alle in das Standard-USDZ-Format konvertieren können. Sie können auch einige Textureigenschaften in der Reality Converter-Beta ändern.
Auf der AR-Tools-Seite gibt es außerdem einen zusätzlichen.dmg-Download namens USDZ Tools, bei dem es sich um eine Reihe von Python-Skripten für die USD-Konvertierung handelt. Alle AR-Tools von Apple finden Sie auf der AR-Hauptseite unter Developer.apple.com/augmented-reality/tools/
Das AR Quick Look-Plugin finden Sie unter Developer.apple.com/augmented-Reality/Quick-Look/zusammen mit Beispielen.
Wenn dies alles installiert ist, können Sie jetzt auch die 3D-Entwicklungstools von Unity verwenden, um Apple Vision Pro-Apps zu entwickeln. Besuchen Sie die Unity-Website unter unity.com.
Apple Vision Pro SDK – Datei-und Grafikformate
Das Entwerfen und Schreiben Ihrer visionOS-App ist nur ein Teil der visionOS-Entwicklung. Der andere Teil besteht darin, 3D-Modelle und Räume zu beherrschen.
Immerhin nennt Apple das Vision Pro ein AR-Headset. Auf diese Weise werden Ihre visionOS-Apps dem Benutzer im 3D-Raum auf dem Apple Vision Pro-Gerät präsentiert.
Sie müssen außerdem mit Pixars Universal Scene Description und den USDZ-Dateien vertraut sein, die Beschreibungen von 3D-Objekten enthalten. Es gibt eine Reihe von Ressourcen, um mehr über USDZ-Dateien zu erfahren. Beispielsweise gibt es auf der Entwicklerseite von NVIDIA auch eine gute Diskussion über USD.
In den meisten Fällen müssen Sie Ihre 3D-Inhalte zur Verwendung in visionOS in USDZ konvertieren.
Zusätzlich zu USD möchten Sie auch den MaterialX-Standard von Industrial Light + Magic kennenlernen – einen universellen Open-Source-Standard für 3D-Objektmaterialien, der erstmals 2017 für den Film Star erstellt wurde Kriege: Das Erwachen der Macht.
Materialien beziehen sich auf die Oberflächen von 3D-Objekten und darauf, wie diese Oberflächen aussehen. In der realen Welt bedeutet dies, dass Materialien wie Holz, Metall oder Glas simuliert werden.
Apple Vision Pro SDK – Benutzererfahrung und Benutzeroberfläche
In visionOS werden vier Präsentationsmodi unterstützt:
Fenster-Apps Volumes Räume Immersive Apps
Fenster-Apps verhalten sich im Wesentlichen wie iOS-und iPadOS-Apps im Haupt-Shared Space von visionOS, mit der Ausnahme, dass Sie sie zur Seite werfen können – ähnlich wie Sie es in macOS mit Stage Manager können.
visionOS bietet vier Arten von Benutzererlebnissen.
Volumes sind im Grunde SwiftUI-Szenen, die in Fenster-Apps eingebettet sind und RealityKit-oder Unity-3D-Objekte in Teilen von Fenstern anzeigen. Benutzer können Fenster und Volumen im Shared Space nach Belieben neu positionieren.
Spaces sind immersive „Full Spaces“, die einer App gewidmet sind und in denen nur der Inhalt einer App angezeigt werden kann. Innerhalb eines Full Space kann eine App Fenster oder 3D-Inhalte anzeigen oder eine ganze 3D-gerenderte Szene wie ein Spiel oder eine Simulation anzeigen und den Benutzer in eine andere Welt eintauchen lassen. Apple nennt dies „Unbounded 3D Content“.
Safari läuft im Fenstermodus in visionOS.
Als Entwickler können Sie in visionOS dem Benutzer erlauben, jederzeit zwischen diesen Zuständen und zurück zu wechseln.
Installieren des Apple Vision Pro SDK und des Simulators
Wir werden uns nicht Schritt für Schritt mit der Installation des visionOS-Simulators in Xcode befassen, da dies der Fall ist bereits auf den Xcode-Entwicklerseiten dokumentiert. Zuerst möchten Sie alles aus der oben erwähnten ersten Xcode 15-Beta installieren, insbesondere die Datei Xcode_15_beta_2.xip, eine signierte ZIP-Datei, die die Xcode 15 Beta-App enthält.
Nach der Installation der ersten Xcode-Beta laden Sie die Befehlszeilentools und die zweite Beta herunter und installieren sie.
Sie müssen dies in dieser Reihenfolge tun, da bei Verwendung der Web-Installationsmethode (siehe unten) zuerst die Xcode-Beta-App installiert werden muss, damit sie funktioniert.
Der Download des visionOS-Simulators ist mit etwa 7 GB beträchtlich.
Es gibt mehrere Möglichkeiten, den Simulator zu installieren:
Installieren Sie Simulator-Laufzeiten von der Apple Developer-Website. Installieren Sie die Simulator-Laufzeiten beim ersten Start. Installieren Sie eine Simulator-Laufzeit vom Xcode-Ausführungsziel. Installieren und verwalten Sie Simulator-Laufzeiten in den Einstellungen. Installieren und verwalten Sie Simulator-Laufzeiten über die Befehlszeile.
Bei der ersten Option müssen Sie alle heruntergeladenen Komponenten und Manifestdateien im Ordner „Downloads“ in Ihrem Benutzerordner belassen, da Xcode dort nach ihnen sucht. Wenn der Download abgeschlossen ist, installiert Xcode sie automatisch von diesem Speicherort aus.
Für diese Option ist es wahrscheinlich am besten, Safari zu verwenden. Für diese Option müssen Sie sich mit Ihrer Apple-ID auf der Entwicklerseite anmelden.
Die zweite Option – Installation beim ersten Start – funktioniert nur, wenn Sie Xcode zum ersten Mal bei einer Neuinstallation starten. Sie werden gefragt, welche Simulatoren Sie installieren möchten. Wenn Sie die Betaversion von Xcode 15 auf der Betaversion von macOS 14 ausführen, umfassen diese Optionen den visionOS-Simulator.
Um den Simulator manuell aus Xcode heraus zu installieren, gehen Sie zu Einstellungen->Plattformen. Klicken Sie neben jedem Simulator, den Sie installieren möchten, auf die Schaltfläche Get. Stellen Sie zunächst sicher, dass Sie für jede einzelne Datei über ausreichend Speicherplatz verfügen.
Um den Simulator über die Befehlszeile im Terminal zu installieren, müssen Sie zunächst Xcode ausführen und bei der ersten Aufforderung die zusätzlichen Xcode-Tools installieren. Dadurch wird ein Befehlszeilentool namens simctl installiert. Weitere Informationen zu simctl erhalten Sie im Terminal, indem Sie Folgendes eingeben:
simctl und Return drücken.
Sie können die Befehlszeilentools auch installieren, indem Sie das oben erwähnte Paket „Zusätzliche Befehlszeilentools“ herunterladen und das Installationsprogramm Command Line Tools.pkg ausführen, das in der.dmg-Datei im Finder enthalten ist.
Die erforderlichen simctl-Befehle sind auf den Xcode-Entwicklerseiten von Apple aufgeführt:
xcode-select-s/Applications/Xcode-beta.app
xcodebuild-runFirstLaunch
xcrun simctl runtime add „~/Downloads/visionOS_1_beta_Simulator_Runtime.dmg“
Beachten Sie, dass für den Befehl xcrun simctl runtime add die Simulator-.dmg-Datei selbst im Ordner „Downloads“ erforderlich ist, um den Simulator zu installieren. Öffnen Sie die.dmg-Datei also nicht direkt.
Sie können auch einen oder mehrere Simulatoren installieren, indem Sie den einfacheren Befehl xcodebuild und entweder die Option-downloadAllPlatforms oder eine bestimmte Simulatoroption verwenden.
Zum Beispiel kann der iOS-Simulator heruntergeladen und installiert werden, indem Sie Folgendes eingeben:
xcodebuild-downloadPlatform iOS
Apple Vision Pro SDK – Erste Schritte
Das visionOS SDK ähnelt den verschiedenen anderen Betriebssystem-Frameworks und Entwicklertools von Apple. Die grundlegenden Teile, die Sie kennen müssen, sind Xcode, SwiftUI, RealityKit, ARKit und TestFlight – sowie einige 3D-Modellierungstools.
Es gibt zwei wichtige 3D-Ansichten, die Sie in visionOS für 3D-Objekte und-Szenen verwenden können: ARView und RealityView (das sich noch in der Betaphase befindet).
Es gibt eine Vielzahl anderer Beta-Objekte, die Sie ausprobieren möchten, darunter Model3d, RealityRenderer, SceneRealityCoordinateSpace und RealityCoordinateSpaceConverting.
Die meisten visionOS-Apps und-Ansichten werden mit SwiftUI-und Swift-Klassen erstellt. Für einige der neueren Objekte gibt es keine Objective-C-Versionen.
In jedem vorhandenen iOS-oder iPadOS-Xcode-Projekt können Sie ein neues visionOS-Ziel zum vorhandenen Projekt hinzufügen oder eine völlig neue App erstellen, indem Sie über die Vorlagenauswahl von Xcode ein neues Xcode-Projekt basierend auf visionOS erstellen.
Gehen Sie dazu in Xcode zu Datei->Neu->Projekt und klicken Sie in der Vorlagenauswahl auf das visionOS-Symbol. Klicken Sie auf Weiter, benennen Sie das Projekt, legen Sie seine Optionen fest, klicken Sie dann erneut auf Weiter und speichern Sie es auf der Festplatte, indem Sie auf Erstellen klicken.
Sie können ein neues visionOS-Ziel zu Ihrem bestehenden iOS-oder iPadOS-Xcode-Projekt hinzufügen, indem Sie das Projektsymbol auf der linken Seite des Xcode-Projektfensters auswählen und dann den Projekt-Namen darunter auswählen „Projekt“ und wählen Sie dann Datei->Neu->Ziel aus dem Menü Datei aus:
Fügen Sie ein neues Ziel hinzu.
Wenn die Xcode-Vorlagenauswahl erscheint, wählen Sie visionOS aus der Tab-Leiste oben, genau wie Sie es tun würden, wenn Sie ein neues Projekt erstellt hätten. Legen Sie die Details des neuen Ziels im nächsten Blatt fest und klicken Sie dann auf die Schaltfläche Fertig stellen – ein neues visionOS-Ziel wird Ihrem bestehenden Xcode-Projekt hinzugefügt.
Apple Vision Pro SDK – App-Kompatibilität
Apps, die iOS, iPadOS und visionOS verwenden, können viele, aber nicht alle der gleichen Technologien nutzen. Um Ihre App auf visionOS zu portieren, müssen Sie sich auf die Überprüfung Ihrer Apps und die Konvertierung inkompatibler Teile in kompatible oder neue visionOS-Technologien konzentrieren.
Wenn Sie beispielsweise Metal in Ihren iOS-oder iPadOS-Apps verwenden, können Sie Metal in visionOS verwenden, jedoch nur im immersiven Modus, da Metal auf der Abtastung von Pixeln basiert, und wenn Sie es im Fenstermodus verwenden würden, könnte Metal dies tun Proben Sie den Hintergrund des Benutzers und geben Sie möglicherweise vertrauliche Informationen preis, wenn Proben aus der Umgebung entnommen werden.
Neben brandneuen visionOS-Apps können auch die meisten iOS-und iPadOS-Apps an visionOS angepasst werden. visionOS wurde auf diese Weise entwickelt, um die Portierung Ihrer vorhandenen Apps zu vereinfachen.
Bei der Entwicklung für Vision Pro mit iOS-oder ARKit-Apps haben Sie mehrere Möglichkeiten: Sie können sehen, ob Ihre App bereits mit visionOS kompatibel ist, Sie können Ihre vorhandene App mit visionOS zum Laufen bringen oder Sie können eine erstellen brandneue ARKit-App, die mit visionOS funktioniert.
In der visionOS-Dokumentation gibt es einen Abschnitt mit dem Titel iOS-Migration und-Kompatibilität. In diesem Abschnitt gibt es drei Unterabschnitte:
Prüfen, ob Ihre bestehende App mit visionOS kompatibel ist. Bringen Sie Ihre bestehenden Apps auf visionOS. Machen Sie Ihre bestehende App mit visionOS kompatibel.
Apples wichtigstes visionOS enthält die meisten Informationen, die Sie für den Einstieg benötigen. ist bei. Es gibt auch einen Abschnitt über den Xcode visionOS-Simulator.
Wir werden in einem zukünftigen Artikel tiefer auf die technischen Aspekte der Erstellung von visionOS-Apps eingehen.
Entwicklerlabore werden im Juli 2023 eröffnet
Apple hat außerdem angekündigt, dass sie in mehreren Großstädten auf der ganzen Welt Entwicklerlabore eröffnen werden, in denen Entwickler ihre Apps testen können auf Prototyp-Vision-Pro-Hardware für Kompatibilität und Robustheit. Und im Juli können sich Entwickler für den Kauf von Entwickler-Kits bewerben, die die Hardware enthalten.
Im Laufe der nächsten neun Monate – und vielleicht auch länger, je nach tatsächlichem Veröffentlichungsdatum – werden wir uns eingehender mit der Portierung und Erstellung von Apps für visionOS befassen und erfahren, was die Plattform für alltägliche Benutzer bedeutet. Derzeit enthält die umfangreiche Entwicklerdokumentation von Apple jedoch eine Menge neues Lernmaterial.
Es gibt schließlich einen Grund, warum Apple die Hardware auf der WWDC 2023 für eine Veröffentlichung im Jahr 2024 angekündigt hat.
