Künstliche Intelligenz kann viele Bereiche der Computergrafik revolutionieren. Eine neue Google-KI beweist das: Sie berechnet die vielversprechenden Neural Radiance Fields in Echtzeit.
Im Sommer 2020 stellten Google-Forscher „Neural Radiance Fields“ (NERF) vor, einen KI-Prozess, der 3D-Tiefendaten aus 2D-Bildern wie Fotos extrahieren kann. NERF kann so aus mehreren Fotos, die aus unterschiedlichen Blickwinkeln geschossen werden, ein texturiertes 3D-Modell erstellen.
Für die beeindruckenden Ergebnisse berechnet NERF für jeden Blickwinkel zahlreiche Lichtstrahlen, die die 3D-Szene abtasten. Ein einziger Lichtstrahl liefert dabei für jeden einzelnen Punkt im Raum Informationen wie Farbe oder Transparenz - egal ob dieser Punkt von einem Objekt eingenommen wird oder leer ist. Die zahlreichen Informationen werden anschließend zu einer finalen sichtbaren Textur am Endpunkt des Lichtstrahls zusammengefasst.
Dieser Prozess ist extrem rechenintensiv: NERF benötigt 100 Teraflops, um ein einziges Bild mit 800 x 800 Pixeln zu berechnen. Im besten Fall generiert NERF so auf einer Nvidia RTX 2080 ein Bild in zehn Sekunden. Das ist ein Machbarkeitsnachweis, aber viel zu langsam für praktische Anwendungen.
NERF, SNeRG & Lidar
Jetzt stellt Google eine neue Methode vor, die zu NERF visuell gleichwertige Ergebnisse auf modernen Grafikkarten in Echtzeit mit mehr als 30 Bildern pro Sekunde rendert.
Die “Sparse Neural Radiance Grid” (SNeRG) genannte Lösung ist schneller, da sie die 3D-Szene in niedrig aufgelösten Voxelblöcken speichert. SNeRG tastet anschließend lediglich vom Objekt eingenommene Voxel mit Lichtstrahlen ab. Das reduziert die Rechenarbeit massiv, da nicht mehr dutzende oder hunderte Punkte pro Lichtstrahl berechnet werden müssen.
Die durch die Lichtstrahlen gesammelten Farbinformationen und andere Merkmale werden anschließend in einem kompakten 3D-Texturatlas gespeichert. Alle notwendigen Informationen der 3D-Szene sind so im Netz gespeichert.
Für die Echtzeitdarstellung berechnet ein zweites neuronales Netz Transparenz und Oberflächenglanz (Specularity). Diese werden anschließend mit den im Texturatlas gespeicherten Farben kombiniert und die fertige Szene entsteht.
Laut Google ist SNeRG tausendmal schneller als NERF bei vergleichbarer Qualität. In Tests lief der Prozess auf einem MacBook Pro mit knapp 65 Bildern pro Sekunde. Die Forscher hoffen, dass SNeRGs zur Akzeptanz der KI-Szenendarstellung in der Bildverarbeitung und bei Grafikanwendungen beitragen.
Dort können mit dem KI-Verfahren detaillierte 3D-Modelle aus Fotos generiert oder in Echtzeit gerendert werden. Weitere Verbesserungen vorausgesetzt, könnten Neural Radiance Fields in bestimmten Anwendungsfällen Technologien wie Lidar oder Laserscanning ersetzen.
Einige Echtzeit-Demos gibt es auf Github.
Titelbild: Google | Via: Arxiv
