Nvidia zeigt Instant NeRF: Die KI-Technik rendert auf Basis weniger Fotos innerhalb von Sekunden eine hochauflösende 3D-Szene.
Neural Radiance Fields (NeRFs) sind neuronale Netze, die eine 3D-Szene aus 2D-Bildern lernen und diese anschließend reproduzieren können. Die Technologie erzeugt fotorealistische Szenen und ist ein zentraler Bestandteil für den Einsatz von KI in der Computergrafik und Fotografie. Google zeigte etwa jüngst eine Art Street View 3D, das mit NeRFs ganze Straßenblöcke rendert.
Ein Hindernis beim NeRF-Einsatz waren bisher die langen Trainings- und Renderzeiten der neuronalen Netze. In den letzten Jahren fanden Forschende jedoch neue Wege, um die benötigte Zeit zu reduzieren. Google-Forschende zeigten etwa 2021 Echtzeit-Rendering von NeRFs. Anfang 2022 enthüllte Nvidia Instant-NGP, eine Methode, die das KI-Training stark beschleunigt.
Höhere Rendergeschwindigkeit ebnet NeRFs den Weg in den Praxiseinsatz
Im Rahmen der diesjährigen GTC stellt Nvidia nun Instant NeRF vor. Die Technologie ermöglicht das Training und Rendering einer hochauflösenden 3D-Szene in wenigen Sekunden. Im Vergleich zu anderen NeRF-Methoden sei Instant NeRF in einigen Fällen um bis zu 1000-mal schneller, so Nvidia.
Möglich wird die höhere Geschwindigkeit durch den in Nvidias Instant-NGP vorgestellten Rückgriff auf eine Kombination aus dem neuronalen Netz mit einer gelernter Hashtabelle von Voxel-Eckpunkten.
Das KI-Modell benötigt für das Training nur ein paar dutzend Fotos aus unterschiedlichen Blickwinkeln, inklusive Angaben zu den Kamerawinkeln, und lernt dann in wenigen Sekunden eine 3D-Repräsentation der Szene. Das Rendering der Szene selbst dauert nur mehr Millisekunden.
NeRFs sind die JPEG-Kompression für 3D
"Wenn herkömmliche 3D-Darstellungen wie Polygonnetze mit Vektorbildern vergleichbar sind, dann sind NeRFs wie Bitmap-Bilder: Sie erfassen, wie Licht von einem Objekt oder innerhalb einer Szene abstrahlt", so David Luebke, Vize-Präsident für Grafikforschung bei NVIDIA.
"In diesem Sinne könnte Instant NeRF für 3D so wichtig sein, wie es Digitalkameras und JPEG-Kompression für die 2D-Fotografie waren - eine enorme Steigerung der Geschwindigkeit, Einfachheit und Reichweite der Aufnahme und des Teilens von 3D."
Laut Nvidia könnte Instant NeRF für Avatare oder Szenen in virtuellen Welten, zur Erfassung von Videokonferenzteilnehmern und ihrer Umgebung in 3D oder zur Rekonstruktion von Szenen für digitale 3D-Karten verwendet werden. Letztere könnten dann für das Training von Robotern und selbstfahrenden Autos zum Einsatz kommen.
Weitere Anwendungen sieht Nvidia in der Architektur und in der Unterhaltungsbranche, wo mit NeRFs digitale Darstellungen von realen Umgebungen erzeugt werden könnten, die anschließend von Entwickler:innen angepasst und ausgebaut werden.
Mehr über Künstliche Intelligenz für Computergrafik gibt’s in unserem DEEP MINDS KI-Podcast zum Thema.
