Im Rahmen der Oculus Connect 6 stellte Facebook das neue Handtracking für Oculus Quest vor. Robert Wang, der leitende Ingenieur des Handtracking-Teams, erklärt, wie Facebook mit KI die Hände erkennt.
Die Hand als Controller habe drei Vorteile, sagt Wang: Sie sei, anders als andere Eingabegeräte, immer dabei, und ein wichtiger Bestandteil von sozialer und eigener Wahrnehmung.
Die Facebook-Ingenieure standen jedoch vor einem Problem: Qualitativ hochwertiges Tracking ist mit Tiefenkameras und Markern an den Händen problemlos möglich. Die Oculus Quest hat jedoch nur herkömmliche Schwarz-Weiß-Kameras verbaut.
Die haben zwar ein weites Sichtfeld, sind außerdem leicht und günstig, aber sie übertragen keine Tiefeninformationen. Erst Künstliche Intelligenz ermöglicht Facebook, genaues Handtracking in die Quest zu implementieren.
Facebook trainierte eine KI mit hunderten Handvideos
Dafür erkennt ein Algorithmus zuerst Hände innerhalb des Sichtfelds und umgibt sie mit einer Box. Innerhalb dieser Box identifiziert die KI anschließend Finger, Fingerspitzen und Gelenke. Anhand dieser Schlüsselpunkte erstellt die KI ein räumliches Modell der Hand und stülpt ihr ein 3D-Modell über.
Damit die KI überhaupt Hände erkennt, trainierte Facebook sie mit dutzenden Stunden an Videomaterial, in dem Handbewegungen von hunderten Personen an verschiedenen Orten mit unterschiedlicher Belichtung zu sehen sind.
Besonderen Wert beim Training legte Facebook auf bestimmte Handbewegungen, die häufig für Interaktionen in der virtuellen Welt genutzt werden. Ein Beispiel: Das Zusammenführen von Zeigefinger und Daumen.
Solche Gesten nimmt Facebook mit speziellen Kameravorrichtungen aus mehreren Blickwinkeln auf. Mit den Daten lernt die KI anschließend, die Gesten verlässlicher zu erkennen.
Den Ingenieuren gelang es außerdem, das KI-Modell zu verkleinern – von ursprünglich 52 MB auf 3,2 MB. Mit aktiviertem Tracking verliere die Quest kaum mehr Strom, so Wang. Insgesamt reduziere sich die Spielzeit nur um sieben Minuten gemessen am Energiebedarf des Akkus.
Quest: Noch genaueres Tracking ist möglich
Laut Wang existieren noch wesentlich genauere Tracking-Modelle, die die Interaktion der Hände miteinander ermöglichen: Hände verschränken, einen Stift übergeben oder das genaue Tracking der Hände am Controller sei so möglich.
Man wolle diese Modelle auch für Oculus Quest verwenden. Wann und ob Facebook das bessere Tracking veröffentlicht, sagt Wang nicht. Bei den Demos auf der Oculus Connect 6 war es noch nicht implementiert.
Für Oculus Quest 2, sofern die VR-Brille denn kommt, wäre hochwertiges Handtracking sicherlich das Standardeingabeschema - in Kombination mit Controllern, wenn man diese benötigt. Auch für eine mögliche Oculus Go 2 ist Handtracking laut Oculus-CTO John Carmack ein Thema.
Quelle: Oculus