Ein von Facebook Reality Labs und Oculus entwickeltes KI-Rendering soll die Virtual Reality visuell realistischer darstellen.
Zukünftige VR-Brillen wie Oculus' Half-Dome-Prototyp sollen mehrere Fokusebenen darstellen können, zum Beispiel für nahe und weit entfernte Objekte. Besagtem Half-Dome-Prototyp gelingt das über ein bewegliches Display, das passend zum Fokuspunkt des Nutzers nach vorne oder hinten verschoben wird, sodass das Bild stets scharf und entlang der Blickrichtung eingestellt ist.
Nun ist es für einen realistischeren Bildeindruck nicht damit getan, die Fokusebene physisch zu justieren. Die Darstellung der VR-Szene muss ebenfalls passen: Schaut man auf ein nahes Objekt, muss der Hintergrund unscharf erscheinen. Blickt man in die Ferne, sollte der Vordergrund unscharf werden. So ist es auch in der Realität.
Diesen Effekt kann man zwar mit klassischen Renderverfahren darstellen, allerdings sind diese rechenintensiv. Das ist speziell bei hochauflösenden VR-Brillen ein Problem, bei denen der Fokuswechsel in hohem Tempo und ohne spürbare Latenz passieren muss. Hinzu kommt, dass herkömmliche Renderverfahren laut Facebook mit Darstellungsfehlern wie Artefakten zu kämpfen haben.
KI-Unschärfe
Den künstlichen Unschärfeeffekt kann Facebook mit "Deep Focus" laut eigenen Angaben um den Faktor zehn effizienter erzeugen.
Nicht nur das: Der Algorithmus soll grundlegend für alle Oculus-Apps funktionieren. Er wertet dieselben Bildparameter aus wie Oculus' Anti-Ruckeltechnologie ASW 2.0. Entwickler müssen ihre schon veröffentlichte Software also nicht modifizieren, um irgendwann in der Zukunft Deep Focus unterstützen zu können.
https://www.youtube.com/watch?v=Xp6OlfJEmAo
Der größte Vorteil von Deep Focus ist ein realistischerer Bildeindruck. Außerdem wird die Augenmuskulatur geschont, indem das natürliche Sehverhalten in der Virtual Reality simuliert wird. Aktuelle VR-Brillen bieten nur eine Schärfeebene.
"Wir wollen visuelle Erfahrungen bieten, die nicht mehr von der Realität unterschieden werden können", sagt die Optometrie-Forscherin Marina Zannoli aus dem Deep-Focus-Team.
Trainiert wurde das neuronale Deep-Focus-Netz mit 196.000 Bildern von sich überlagernden 3D-Objekten in allen möglichen Formen. So lernte es, Vorder- und Hintergrund verlässlich zu erkennen und voneinander zu trennen - selbst in sehr komplexen VR-Szenen. Das ist die Grundvoraussetzung, um den Unschärfeeffekt passend aufs Bild zu legen.
Die Trainingsbilder erzeugten die Facebook-Forscher mit einem selbstentwickelten Szenengenerator. Dank der breiten Datenbasis soll eine Vielzahl unterschiedlicher Defokussierungseffekte dargestellt werden können.
Deep Focus für alle
Erstmals vorgestellt wurde Deep Focus im Oktober (wir berichteten). Jetzt gibt Facebook im Oculus-Blog bekannt, dass die KI-Software samt der Trainingsdaten als Open-Source-Projekt veröffentlicht wurde.
Die Arbeit an Deep Focus geht laut den Oculus- und Facebook-Forschern dennoch weiter. Das muss sie auch, denn obwohl der Algorithmus deutlich schneller rendern soll als herkömmliche Darstellungsverfahren, benötigt die KI-Unschärfe in VR-Qualität noch immer Computer mit vier Grafikkarten.
