Auf der Suche nach der nächsten großen Hardware-Plattform experimentieren Meta und bald auch Apple mit VR- und AR-Brillen. Künstliche Intelligenz bildet die Grundlage dieser neuen Geräteklasse.
VR- und AR-Brillen profitieren insbesondere von den enormen Fortschritten im Bereich des maschinellen Sehens, also der Art und Weise, wie ein Computer seine Umgebung wahrnimmt.
Die Quest-Brille von Meta beispielsweise kann die Umgebung in Echtzeit scannen und auf Hindernisse hinweisen, damit man in VR nicht darüber stolpert.
Virtuelle Grenzen können zentimetergenau in den Raum gezeichnet werden. Handbewegungen werden mit moderatem Rechenaufwand in Echtzeit erfasst - eine Aufgabe, die bisher von teurer, leistungshungriger Spezialhardware gelöst werden musste, läuft nun auf einem mobilen Gerät.
"KI beschleunigt alles"
KI ist die treibende Kraft hinter dieser zunehmenden Vermischung von analoger und digitaler Realität, auch Mixed Reality genannt, wie sie Apple und Meta mit ihrer neuesten Hardware anstreben.
"Maschinelles Lernen ist seit Jahren die technische Grundlage für VR, und Durchbrüche in der Computer Vision machen ein Gerät wie Meta Quest überhaupt erst möglich", schreibt Metas CTO Andrew Bosworth in der Ankündigung von Meta Quest 3.
Für die neuesten VR-Brillen konnte Meta das visuelle Tracking der Controller so optimieren, dass diese keine großen, auffälligen Tracking-Ringe mehr benötigen. Stattdessen werden die kompakten Controller auch dann noch erkannt, wenn sie größtenteils in der Hand des Nutzers verschwinden.
"In diesen Bereichen ermöglicht KI komplexe Berechnungen, die auf einem mobilen Gerät ohne fortschrittliche Sensoren oder zusätzliche Hardwarefunktionen nicht möglich wären", schreibt Bosworth.
Den größten Einfluss habe jedoch die generative KI im Metaverse, die es vielen Menschen ermögliche, Inhalte für die digitale Welt zu erstellen. Kleine Teams hätten plötzlich die Schlagkraft großer Studios. Eine enorme Beschleunigung der Innovation.
Metas KI-Chef Yann LeCun beschreibt zudem einen KI-Assistenten als täglichen Begleiter: Mit Zugang zum Wissen der Welt sei er die "beste Waffe gegen Desinformation".
Bekannt ist, dass Meta unter anderem an Videodatensätzen für das KI-Training arbeitet, die den Alltag von Menschen aus der Ego-Perspektive zeigen. Mit diesen Daten könnten KI-Assistenten trainiert werden, die zum Beispiel über AR-Brillen am Alltag der Menschen teilnehmen, anders als ChatGPT, das im Computer eingesperrt ist.
Apples großer KI-Moment?
Aller Voraussicht nach wird Apple am kommenden Montag seine nächste große Hardware enthüllen: Eine Tech-Brille, die wie eine VR-Brille geschlossen ist, aber über Videokameras die Außenwelt in die Brille streamt und dort zu einer Mixed Reality vermischt.
Die VR- und AR-Branche hofft auf den großen Durchbruch, aber auch für die KI-Szene ist die Ankündigung interessant, denn bislang hat sich Apple trotz großer Investitionen bei KI-Themen eher zurückgehalten.
Für die VR-AR-Brille wird Apple allerdings auf KI setzen müssen, um konkurrenzfähig zu sein, z.B. für Computer Vision oder Raumscanning und Handtracking. Fortgeschrittene, multimodale Modelle könnten für Objekterkennungsfunktionen eingesetzt werden. Schon bei AR-Anwendungen für iPhone und iPad zeigte Apple, dass es die Technologie im Griff hat.
Dass Apple dank jahrzehntelanger Erfahrung bessere Hardware bauen kann als Meta, wäre keine große Überraschung. Der größere Hebel könnte jedoch langfristig in der Qualität der Nutzererfahrung und der Funktionalität liegen, die eine hochwertige KI-Implementierung mit sich bringt. Hier könnte der eigentliche Wettbewerb stattfinden. Wie weit Apple bei KI wirklich ist, lässt sich ab Montag im direkten Vergleich mit einem Konkurrenten beurteilen.
