FingerTrak: Handtracking mit Wärmebildkameras für VR & AR
Wärmebild statt optischem Tracking: FingerTrak will Hand- und Fingertracking für VR, AR und andere Zwecke revolutionieren. Wie funktioniert das?
Eingabemöglichkeiten für Virtual Reality beschränken sich derzeit auf VR-Controller oder Handtracking, etwa durch Hardware-Addons wie LeapMotion oder optisches Handtracking für Oculus Quest oder HoloLens 2 (Ausprobiert).
Der Trend geht bei VR-Controllern zu handlichen Eingabegeräten, die am Handrücken befestigt werden und über Sensoren mehr oder weniger ausgefeiltes Fingertracking erlauben. Die Vorzeigecontroller auf diesem Gebiet sind sicherlich die Valve Index-Controller (Valve Index-Test). Die Controller der Oculus Touch sind zwar ebenfalls sehr handlich, allerdings benötigt man bestimmtes Oculus Quest-Zubehör, um die Controller an der Hand zu befestigen.
Handtracking für VR: Viel Potenzial, viele Probleme
Immerhin ist es seit einiger Zeit möglich, Menüs und diverse Apps und Spiele für die Oculus Quest mit der Hand zu steuern (Quest-Handtracking Info-Guide). Dabei werden Hände und Finger durch die Kameras optisch getrackt. Während dieses Feature grundsätzlich eine sehr gute Idee ist und viel Potenzial für die Zukunft beinhaltet, weist es derzeit noch eine Reihe Probleme auf.
Dazu gehört beispielsweise, dass überlappende Hände nicht angezeigt werden können, das Tracking nur innerhalb eines recht engen Bereiches zuverlässig funktioniert und auch nicht immer sehr genau ist. Forscher der Cornell University sowie der University of Wisconsin haben nun in einer Forschungsarbeit „Fingertrak“ vorgestellt, ein neuartiges Trackingsystem für Hände und Finger.
Fingertracking mit Wärmebildkameras ist schon recht präzise
Fingertrak besteht nur aus einem Armband mit vier Wärmebildkameras (Auflösung: 32 × 24 Pixel), die auf das Handgelenk ausgerichtet sind. Zusätzlich werden auch die Finger aufgenommen.
Die so entstehenden Silhouetten-Bilder werden dann von einer KI (Infos) so zusammengesetzt, dass dabei ein 3D-Modell mit recht genauen Positionen von Fingerspitzen sowie Gelenksstellungen entsteht.
Gleichwohl ist die Präzision noch längst nicht perfekt: Die Forscher geben an, dass die Abweichung der Hand- und Fingerpositionen zwischen sechs und acht Grad beträgt. Dabei spielt der Hintergrund, vor dem die Aufnahme gemacht wird, eine Rolle.
Fingertrak: Noch ein weiter Weg zur Marktreife
Für die Berechnung verwendet der Prototyp ein Raspberry Pi-Board. Spätere Versionen könnten mit einem Smartphone oder direkt mit einer VR-Brille (Vergleich) oder AR-Brille verbunden werden, gegebenenfalls sogar kabellos.
Abseits von Virtual Reality (Guide) oder Augmented Reality-Anwendungen könnte FingerTrak für die Steuerung von Robotern bzw. Roboterarmen benutzt werden. Außerdem sind Anwendungen im Bereich der Gesundheitstechnik denkbar, etwa Früherkennung von Parkinson und Alzheimer.
Bei FingerTrak handelt es sich allerdings noch um sehr frühe Forschungsarbeit. Eine irgendwie geartete Umsetzung für den Anwendermarkt ist noch weit entfernt. Außerdem stellt sich die Frage, inwieweit dieses System als Controller-Ersatz für VR- oder AR-Anwendungen wirklich geeignet ist.
Was geschieht, wenn beide Hände nah beieinanderliegen oder sich überlappen? Wie hält das System Finger und Hände auseinander? Lässt sich die Präzision signifikant steigern? Auf diese und mehr Fragen müssen die Forscher für ein marktreifes Produkt noch Antworten finden. Das Forschungspapier dazu könnt ihr hinter dem folgenden Link finden.
Titelbild & Quelle: Link
via: VentureBeat
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar“‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnierenKI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.