Apple entwickelt aktuell vielleicht kein AR-Headset, aber die neuesten Funktionen im ARKit 3 zeigen, dass es der Augmented Reality immer noch verpflichtet ist. [...]
Das Endziel des Augmented-Reality-Programms von Apple ist derzeit ein Rätsel, vor allem angesichts des jüngsten Gerüchts von DigiTimes, wonach Apple das Projektteam für die Entwicklung seines AR-Headmounted Displays aufgelöst hat. Dieses Gerücht geht aus einem etwas früheren Bericht des Analytikers Ming-Chi Kuo hervor, der behauptet, wir würden bereits im nächsten Jahr eine Art Apple AR-Headset zu sehen bekommen.
Es besteht jedoch kein Zweifel, dass Apple immer noch mit einem Eifer, den wir bei nur wenigen anderen Wettbewerbern finden, für die Augmented Reality eintritt, und der Fortschritt im neuen ARKit 3 (und damit in iOS 13 und iPadOS 13) fühlt sich wie ein großer Sprung nach vorne an. Dieser Sprung ist in der Tat so groß, dass die meisten Funktionen nur mit iPhones oder iPads mit A12-Chips oder besser funktionieren. (Und in diesem Zusammenhang deutet dieser Fortschritt stark darauf hin, dass Apple ein Headset oder eine Brille entwickelt, die es ermöglicht, dass diese Funktionen wirklich glänzen, aber trotzdem…)
Der geringfügige Nachteil ist, dass aktuelle Mobiltelefone diese Technologie nur mit maschineller Lerntechnologie nutzen können, die an die Rear-Kamera des iPhone gebunden ist, so dass Sie nicht immer die flüssigen Aufnahmen erhalten, die Sie sonst vom TrueDepth-Sensor der Frontkamera erwarten würden. Wie wir gehofft hatten, gibt es Gerüchte, dass Apple VCSEL-Laufzeitsensoren in die Rear-Kamera eines zukünftigen iPhone integrieren wird, aber wahrscheinlich werden wir sie erst 2020 zu sehen bekommen. So werden wir in naher Zukunft vielleicht keine Brille bekommen, aber zumindest sind die iPhones und iPads dann vielleicht besser.
Hier ist, was Sie von den neuen Geräten erwarten können, wenn iOS 13 und iPadOS 13 später im Herbs dieses Jahres auf dem Markt kommen.
Personen Okklusion
Ein einfacher Weg, um zu verstehen, wie Okklusion funktioniert, ist die Vorstellung einer Sonnenfinsternis. Wenn der Mond vor der Sonne vorbeizieht, verdunkelt er sie. In AR-Begriffen bedeutet das, dass ein Pokémon, das Sie in der AR-Ansicht von Pokémon Go finden, hinter Stühlen und anderen Möbeln zu stehen scheint. Da iOS derzeit mit ARKit 2 arbeitet, funktioniert die Illusion der „Realität“ nur, wenn der Pokémon auf einem flachen Raum „sitzt“.
ARKit 3 kann jedoch den Boden „lesen“ und darstellen, wie die digitalen Objekte im Verhältnis zu den realen Menschen stehen sollen. Apple demonstrierte, wie das funktionieren könnte (und erntete viel Applaus), mit dem Filmmaterial von einer Frau, die durch ein Wohnzimmer geht, das mit großen digitalen Schachfiguren und einem Spielzeugsoldaten übersät ist. Nach der Keynote ließ Apple die Besucher mit einem Spiel mit zwei iPad-bewaffneten Spielern, die versuchten, eine riesige digitale Kugel in Richtung riesiger Bowling-Pins am Ende des „Spielfeldes“ zu bewegen, in Aktion treten.
Die Okklusion ermöglicht auch „Green-Screen“-Effekte, wie sie für Spezialeffekte in modernen Filmen verwendet werden.
Bewegungserfassung
ARKit 3 unterstützt Echtzeit-Körper-Tracking, d.h. es ist in der Lage, die Bewegungen der Gelenke einer Person zu analysieren und sie mit einem animierten Avatar nachzubilden. Ein unterhaltsames Feature, und ich bin der Meinung, dass ausgefeiltere zukünftige Versionen so etwas wie ein Ganzkörper-Memoji ermöglichen könnten. Apple präsentierte diese Funktion nur für ein paar Sekunden, aber sie könnte am Ende die einflussreichste sein.
Aber es bedarf einer gewissen Feinabstimmung. Sogar Apples Präsentation auf der WWDC zeigte einen Avatar mit leicht abgehackten Animationen. Ich habe jedoch keinen Zweifel daran, dass sich die iOS-Bewegungsverfolgung verbessern wird, sobald die Rear-Kamera des iPhone die richtigen Time-of-Flight-Sensoren erhält.
Kollaborative Sitzungen
Augmented Reality, wie wir es kennen, ist im Großen und Ganzen eine Einzelerfahrung (zumindest auf dem iPhone), doch ARKit 3 ändert dies, indem es kollaborative Sitzungen einführt, die es den Menschen ermöglichen, in den gleichen AR-Räumen zu spielen (oder zu arbeiten).
Auf der WWDC zeigten zwei Vertreter von Mojang, wie dies beim kommenden Minecraft Earth funktionieren würde, indem sie gemeinsam eine Burg errichteten. Die Demo war zudem eine gute Möglichkeit zu zeigen, wie die anderen Funktionen von ARKit 3 in der Praxis funktionieren, wie z.B. als die Entwickler die Okklusion durch einen Gang hinter digitale Blumen veranschaulichten.
Gleichzeitiger Einsatz von Front- und Rear-Kameras
ARKit 3 ermöglicht es Entwicklern jetzt, Ihre Umgebung mit der Front- und Rear-Kamera auf einmal zu erfassen. Ich hatte noch keine Gelegenheit, dieses Feature in Aktion zu sehen, aber es klingt so, als ob es für den Akku Ihres iPhones absolut verheerend wäre.
In der Praxis würde es diese Funktion iOS-Benutzern ermöglichen, ihre Gesichter zur Interaktion mit digitalen Objekten zu verwenden, die mit der Rear-Kamera aufgenommen wurden, was zu Spielen führen könnte, bei denen andere Charaktere auf Ihre Gesichtsausdrücke reagieren. (Es klingt auch so, als ob es eine großartige Barrierefreiheit ermöglichen könnte).
Tracking für mehrere Gesichter
Die TrueDepth-Sensoren von Apple sind bereits jetzt beeindruckend, wenn sie mit einem Gesicht verwendet werden, aber mit ARKit 3 kann Ihr iPhone oder iPad bis zu drei Gesichter auf einmal erfassen. Es ist eine coole Funktion, auch wenn es sich so anhört, als ob man sie nur mit allen drei Personen gleichzeitig benutzen kann. Vielleicht ist es ja für ein paar Memoji-basierte Gesangsstunden gut?
Diese Funktion funktioniert nur mit Geräten, die mindestens einen A12-Chip und einen TrueDepth-Sensor besitzen, und das sind derzeit das iPhone X, iPhone XS, iPhone XS, iPhone XS Max, iPhone XR und das iPad Pro.
Kleinere technische Verbesserungen
ARKit 3 profitiert auch von einigen weniger Headline-freundlichen Funktionen, die das AR-Erlebnis unter iOS dennoch verbessern werden. Es ermöglicht es Ihrem Gerät jetzt, bis zu 100 Bilder gleichzeitig zu erfassen, und im Einklang mit der Einführung der Okklusion funktioniert es außerdem besser, die Größe physischer Objekte zu erkennen und zu schätzen. Die Verwendung von AR-Funktionen sollte im Allgemeinen schneller sein, und iPhones und iPads können nun auch Flächen in der Umgebung schneller erkennen.
RealityKit und Reality Composer
Apple möchte, dass Entwickler die neuen Funktionen des ARKit 3 nutzen, und so wird der Prozess mit AR-Tools, der mit Xcode auf Mac und einer benutzerdefinierten iOS-App funktioniert, vereinfacht. RealityKit vereinfacht die Einbindung von Kameraeffekten, Animation, Physik und Audio in AR-Projekte erheblich. Reality Composer zielt darauf ab, Entwicklern, die wenig Erfahrung mit 3D-Modellierung haben, zu helfen, indem es ihnen Zugang zu einer Bibliothek von AR-optimierten 3D-Assets bietet.
Blickkontaktkorrektur in FaceTime
Apple erwähnte seine Attention Correct-Funktion auf der Bühne nicht, aber sie wurde in der iOS 13-Entwicklerbeta von Entwickler Mike Rundle entdeckt (der sie anscheinend 2017 bereits vorhergesagt hat). Wenn sie während eines FaceTime-Calls eingeschaltet ist – und Sie können sie über die Einstellungen ausschalten, wenn Sie möchten – scheinen Ihre Augen immer direkt auf die andere Person zu blicken. Normalerweise werden Sie keinen direkten Augenkontakt herstellen, da Sie das Display und nicht die Kamera betrachten. Wie Observant AI CEO Dan Shukin auf Twitter betonte, verwendet iOS das ARKit, um diese Wirkung zu erzielen. Leider scheint es zum jetzigen Zeitpunkt nur auf dem iPhone XS und XS Max zu funktionieren.
*Leif Johnson schreibt unter anderem für Macworld.com
Be the first to comment