Blog

Mar 28, 2023

Vollständige Spezifikationen, Funktionen und Details zu Apple Vision Pro

Heute hat Apple endlich Vision Pro vorgestellt, seinen 3.500 US-Dollar teuren „Spatial Computer“, der auf den Markt kommt

Heute hat Apple endlich Vision Pro vorgestellt, seinen 3.500 US-Dollar teuren „Raumcomputer“, der 2024 auf den Markt kommt. Hier ist ein Überblick über die angekündigten Spezifikationen und Funktionen.

Vision Pro ist technisch undurchsichtig, nutzt jedoch hochauflösende Farbkameras, um Ihnen die reale Welt zu zeigen, und ein Display auf der Vorderseite, um anderen Menschen Ihre Augen zu zeigen.

Es handelt sich um ein Ultra-High-End-Headset mit der höchsten Auflösung und den meisten Sensoren, die es je in einem AR/VR-Produkt gab. Es führt neue Funktionen ein, die noch nie zuvor veröffentlicht wurden, und sein visionOS vereint Eye-Tracking und Hand-Tracking für intuitive Eingaben und überdenkt gleichzeitig die Grenzen zwischen 2D, AR und VR.

Vision Pro verfügt über einen maßgeschneiderten Rahmen aus Aluminiumlegierung, der eine gebogene „dreidimensional geformte“ Frontplatte aus laminiertem Glas trägt, um ein relativ dünnes Design zu erreichen.

Was Vision Pro leichter macht als Headsets wie Quest 2, ist die Trennung des Akkus vom Headset. Bei einigen anderen Headsets wie dem Meta Quest Pro und dem Pico 4 befindet sich der Akku auf der Rückseite des Kopfbands, aber das Design von Apple nimmt Ihnen den Akku vollständig vom Kopf ab, da ein externer Akku an einen magnetischen Anschluss auf der linken Seite des Kopfbands angeschlossen ist.

Apple gibt an, dass der externe Akku unter den folgenden Testbedingungen 2 Stunden gehalten hat:

Alternativ kann Vision Pro dauerhaft verwendet werden, indem der Akku an eine USB-C-Stromquelle angeschlossen wird. Apple hat noch nicht näher darauf eingegangen, wie viel Strom benötigt wird.

Vision Pro verfügt über insgesamt zwölf Kameras, einen TrueDepth-Sensor, einen LiDAR-Sensor und sechs Mikrofone.

Sechs der zwölf Kameras befinden sich unter dem Frontglas.

Zwei davon liefern hochauflösende Farben für die Passthrough-Ansicht des Headsets auf die reale Welt und streamen „über eine Milliarde Farbpixel pro Sekunde“.

Die anderen vier Frontkameras dienen der Positionsverfolgung des Headsets und verfügen wahrscheinlich über Fischaugenobjektive.

Ein Zweck des TrueDepth-Sensors ist die Handverfolgung. Apple beschreibt die Qualität der Handverfolgung als „so präzise, ​​dass Ihre Hände völlig von der Notwendigkeit umständlicher Hardware-Controller befreit sind.“

Vision Pro verfügt über keinerlei verfolgte Controller, unterstützt jedoch das Spielen herkömmlicher iPad-Spiele auf einem virtuellen Bildschirm mit einem Gamepad.

Der LiDAR-Sensor wird verwendet, um in Verbindung mit den anderen Frontkameras eine 3D-Vernetzung Ihrer Umgebung in Echtzeit durchzuführen.

Apps können dieses Netz nutzen, erhalten jedoch keinen Zugriff auf die tatsächlichen Kameradaten. Ein Anwendungsfall von Apple war, dass virtuelle Objekte Schatten auf reale Tische werfen, aber das kratzt nur an der Oberfläche dessen, was möglich sein sollte.

Zwei nach unten gerichtete Kameras verfolgen Ihr Gesicht, während vier interne IR-Kameras daneben Ihre Augen verfolgen, unterstützt durch einen Ring aus LED-Beleuchtungen um die Linsen.

Das Eye-Tracking von Vision Pro dient drei Zwecken: Authentifizierung, Foveated-Rendering und Steuerung Ihres FaceTime-Avatars.

Apple nennt seine neue Iris-Scan-Authentifizierung OpticID und folgt damit dem Namensschema von TouchID und FaceID seiner anderen Geräte. Mit OpticID entsperren Sie Vision Pro und es funktioniert auch mit Apple Pay-Käufen und dem automatischen Ausfüllen von Passwörtern. Wie bei TouchID und FaceID werden die biometrischen Daten, die OpticID zugrunde liegen, auf dem Gerät von einem Secure Enclave Processor verarbeitet.

Foveated Rendering ist eine Technik, bei der nur der kleine Bereich des Displays, den Ihre Augen gerade betrachten, in voller Auflösung gerendert wird, wodurch Leistung freigesetzt wird, da der Rest eine niedrigere Auflösung aufweist. Freigewordene GPU-Ressourcen können für eine bessere Leistung, eine höhere Rendering-Auflösung oder eine Erhöhung der Grafikeinstellungen genutzt werden. Es macht sich die Tatsache zunutze, dass unsere Augen nur in der Mitte der Fovea mit hoher Auflösung sehen.

Schließlich wird Eye-Tracking mit den nach unten gerichteten Kameras kombiniert, um Ihre Gesichtsausdrücke in Echtzeit zu verfolgen und so Ihre FaceTime Persona, Apples Version fotorealistischer Avatare, zu steuern. Meta prahlt seit über vier Jahren mit Forschungsergebnissen in diesem Bereich, aber es sieht so aus, als ob Apple als erster Hersteller dabei sein wird – wenn auch nicht in der gleichen Qualität wie Metas Forschungsergebnisse.

Um die Eingaben all dieser Kameras, Sensoren und Mikrofone zusammenzuführen, hat Apple einen benutzerdefinierten Chip namens R1 entwickelt.

Apple behauptet, dass R1 „Verzögerungen praktisch eliminiert und neue Bilder innerhalb von 12 Millisekunden auf die Displays streamt.“

Zum Vergleich: Der Gründer des französischen Headset-Startups Lynx gibt an, dass die Passthrough-Latenz des Meta Quest Pro 35–60 Millisekunden beträgt. Es ist jedoch unklar, ob es sich hierbei um einen vergleichbaren Vergleich handelt.

Vision Pro verfügt nur über zwei physische Bedienelemente, beide oben. Eine Schaltfläche zum jederzeitigen Aufnehmen von „räumlichen Videos“ und „räumlichen Fotos“ und eine digitale Krone.

Durch Drücken der Digital Crown wird die Home-Ansicht des Systems aufgerufen. Aber durch Drehen steuern Sie den Grad der Immersion, von vollständiger AR bis hin zu vollständiger VR. Wenn Sie beispielsweise die halbe Strecke zurücklegen, sehen Sie VR vor sich und AR hinter sich.

Bei vorhandenen Headsets wie Meta Quest und Pico 4 ist Passthrough eine Umschaltoption, was bedeutet, dass Sie zwischen vollständiger und keiner Immersion wählen müssen. Stattdessen möchte Apple Ihnen die Möglichkeit geben, genau zu entscheiden, wie sehr Sie sich auf Ihre reale Umgebung einlassen möchten.

Eine völlig einzigartige Funktion von Vision Pro ist ein externes Display, das Ihre Augen den anderen Personen im Raum zeigt und anzeigt, wie aufmerksam Sie auf sie sind. Apple nennt diese Technologie EyeSight.

Wenn Sie sich in einer AR-App befinden, zeigt EyeSight ein farbiges Muster vor Ihren Augen, und wenn Sie sich in einer VR-App befinden, zeigt es nur das Muster, ohne dass Ihre Augen unsichtbar sind.

Wenn sich Ihnen jemand nähert, zeigt Vision Pro einen Ausschnitt der Person und EyeSight zeigt der Person Ihre Augen.

EyeSight verwendet ein gebogenes OLED-Panel mit einer Linsenlinse, sodass die Perspektive Ihrer Augen korrekt aussieht, unabhängig davon, aus welchem ​​Winkel die Leute auf das Headset schauen. Apple behauptet, es handele sich praktisch um „ein 3D-Display, das das Gerät transparent aussehen lässt“.

Apple beschrieb es als eines seiner „grundlegenden Designziele“ für Vision Pro, sicherzustellen, dass man „niemals von den Menschen um einen herum isoliert“ ist, und das Unternehmen sieht darin ein klares Unterscheidungsmerkmal zu vollständig undurchsichtigen Headsets wie Meta Quests.

Vision Pro verfügt über zwei Micro-OLED-Panels mit beispielloser Pixeldichte. Apple sagt, jedes sei „so groß wie eine Briefmarke“, doch zusammen hätten sie 23 Millionen Pixel.

Apple hat die genaue Auflösung nicht bekannt gegeben, aber 23 Millionen Gesamtpixel würden eine Auflösung pro Auge von etwa 3400 x 3400 für ein quadratisches Seitenverhältnis oder etwa 3680 x 3140 für das 7:6-Seitenverhältnis bedeuten, das in den Marketingdarstellungen angezeigt wird.

Allerdings kennen wir das tatsächliche Seitenverhältnis der Displays nicht und es ist auch denkbar, dass Apples 23-Millionen-Zahl nur die Pixel zählt, die für die Linsen sichtbar sind.

Apple bestätigte, dass die Displays des Vision Pro einen großen Farbraum und einen hohen Dynamikbereich unterstützen, gab jedoch keine detaillierten Spezifikationen wie die Spitzenhelligkeit bekannt.

Vision Pro wird von demselben Apple Silicon M2-Chip angetrieben, der auch in neueren Macs verwendet wird.

Apple sagt, dass dies eine „beispiellose Standalone-Leistung“ liefert und es Vision Pro ermöglicht, „eine angenehme Temperatur aufrechtzuerhalten und praktisch geräuschlos zu laufen“.

Verglichen mit den gemunkelten Spezifikationen des Qualcomm Snapdragon-Chipsatzes der nächsten Generation, den Meta Quest 3 verwenden wird, sollte Apples M2 etwa 30–50 % schnellere Single-Threaded-CPU-Leistung, etwa 80 % schnellere Multi-Threaded-Leistung und etwa 5–15 % mehr GPU-Leistung liefern Leistung.

Ohne die genauen Taktraten der Prozessoren in den einzelnen Headsets zu kennen, ist dies jedoch nur einesehr grober Vergleich. Außerdem sollte Vision Pro in der Praxis über eine effektiver verfügbare GPU-Leistung verfügen als Quest 3, da es Foveated Rendering verwendet.

visionOS ist Apples maßgeschneidertes „räumliches Betriebssystem“ für Vision Pro und vermutlich auch für zukünftige Headsets der Vision-Reihe.

Apple beschreibt visionOS als „vertraut und dennoch bahnbrechend“. Es präsentiert Ihnen schwebende 2D-Apps, durch die Sie mit einer Fingerbewegung scrollen können. Sie wählen Menüpunkte mit Ihren Augen aus, indem Sie sie einfach ansehen, und Sie verwenden Ihre Finger zum Klicken.

Viele der Erstanbieter-Apps und -Dienste von Apple sind in visionOS verfügbar, darunter Notizen, Nachrichten, Safari, Keynote, Fotos, FaceTime und Apple Music.

Anstatt nur in ihrem 2D-Rahmen zu existieren, werden viele Apps von Apple „räumlich“ und nehmen Platz um Sie herum ein. Bei FaceTime-Gruppenanrufen beispielsweise wird die Webcam-Ansicht jeder Person zu einem eigenen schwebenden Rechteck, wobei von jeder Person räumlicher Ton kommt. Apple führte auch das Beispiel an, dass es möglich sei, 3D-Modelle aus Nachrichten in den realen Raum zu ziehen.

Mit Vision Pro können Sie das Display Ihres Mac auch drahtlos zu einem riesigen virtuellen Display erweitern, indem Sie einfach darauf schauen.

Ein Hauptaugenmerk von visionOS liegt auf dem Ansehen von Filmen und Fernsehsendungen auf einem riesigen virtuellen Bildschirm, einschließlich der Unterstützung für die Anzeige von 3D-Filmen aus der Apple-Bibliothek mit Tiefe.

Vision Pro verfügt an seiner Seite über „Audio-Pods“ mit jeweils zwei Treibern. Apple beschreibt es als das „fortschrittlichste Spatial Audio-System aller Zeiten“.

Wenn Sie ein iPhone mit einem TrueDepth FaceID-Sensor besitzen, können Sie Ihr Gesicht scannen, um personalisiertes räumliches Audio zu aktivieren, wobei das System den Klang an Ihre Kopf- und Ohrgeometrie anpasst, um den präzisesten räumlichen Klang zu erzielen.

Vision Pro verwendet außerdem eine Technik namens Audio Ray Tracing, bei der die Merkmale und Materialien Ihres Raums gescannt werden, um „den Klang genau an Ihren Raum anzupassen“. Diese Technik kommt auch bei den HomePod-Lautsprechern von Apple zum Einsatz.

Apple behauptet, Käufer des Vision Pro seien „völlig davon überzeugt, dass Geräusche aus der Umgebung um sie herum kommen“.

Apple Vision Pro wird Anfang 2024 in den USA ab 3.500 US-Dollar erhältlich sein. Es wird online und in den Apple Stores erhältlich sein.

Apple sagt, dass „später im nächsten Jahr“ weitere Länder Vision Pro erhalten werden, gab jedoch nicht genau bekannt, um welche Länder es sich handelt.