Neural Radiance Fields (NeRFs) können fotorealistische 3D-Szenen aus Fotos rendern. Das Open-Source-Tool Nerfstudio erleichtert den Einstieg in die neue Visualisierungstechnologie.
Neuronale Grafikmethoden entwickeln sich rasant. Unternehmen wie Nvidia setzen große Hoffnung in die Technologien und investieren in KI-gestützte Rendermethoden wie DLSS und entsprechende Hardware.
Wenn es um die Repräsentation von 3D-Inhalten geht, gelten Neural Radiance Fields (NeRFs) als heißer Kandidat für eine zentrale Visualisierungstechnologie der Zukunft.
NeRFs sind neuronale Netze, die eine 3D-Repräsentation einer Szene aus 2D-Bildern lernen und anschließen auf Abfrage aus neuen Blickwinkeln rendern. So lassen sich etwa Videos in fotorealistische 3D-Szenen oder Fotos einzelner Objekte in einzelne, realistische 3D-Renderings verwandeln.
Nvidia, Google, Deepmind und Meta investieren in NeRFS
Nvidia, Google und Meta haben in den letzten Jahren immer schnellere und bessere NeRF-Methoden vorgestellt, die etwa 3D-Poträts ermöglichen, eines Tages Street View revolutionieren könnten, Licht ins Dunkel bringen oder Objekte schneller ins Metaverse überführen sollen. In Googles Immersive View für Google Maps setzt Google bereits auf eine Variante der Technologie.
Ähnlich wie bei anderen KI-Technologien ist der Zugang zu NeRFs bisher durch hohe Anforderungen an die Rechenleistung und einen Mangel an zugänglichen Tools eingeschränkt. Eine Gruppe Forschende startete jetzt Nerfstudio, eine Python-Library, die einen vereinfachten End-to-End-Prozess für die Erstellung, das Training und die Visualisierung von NeRFs ermöglicht.
Releasing 🌟nerfstudio🌟, a plug-and-play python library to easily create your own NeRFs!@nerfstudioteam is a contributor friendly open-source repo with a realtime web viewer that makes it easy to make cool videos 📽️https://t.co/zw0ZPqIZ4chttps://t.co/NZM8GPjNrF #nerfstudio 1/ pic.twitter.com/hmTz8ePjW1
— Angjoo Kanazawa 🇺🇦 (@akanazawa) October 5, 2022
Nerfstudio soll Einstiegshürde in NeRFs senken
Jede Arbeitsschritt bei der Erstellung von NeRFs sei in Nerfstudio modularisiert, schreibt das Team. Die Software solle eine benutzerfreundliche Erfahrung bei der Erforschung der Technologie schaffen. Neben der API und einem übersichtlichen Web-Interface bietet Nerfstudio Tutorials und Dokumentationen, die den Einstieg erleichtern sollen.
Zu Beginn empfiehlt die Gruppe, erste Erfahrungen mit dem mitgelieferten NeRF einer in Blender erstellten Lego-Szene zu sammeln. Anschließend könne man sich an das Training mit eigenen Bildern wagen.
Amazing render by @brenthyi! Captured on a phone (no drone involved) #nerfacto #NeRF #neuralrendering #AI #computervision #nerfstudio pic.twitter.com/lRegSdfNTa
— nerfstudio (@nerfstudioteam) October 13, 2022
Wer Nerfstudio ausprobieren möchte, benötigt dennoch rudimentäre Code-Kenntnisse - oder etwas Zeit und die Bereitschaft, sich in die Anleitungen einzulesen. Denn ähnlich wie zu Beginn des aktuellen Stable-Diffusion-Booms müssen Datenvorbereitung, Training und andere Schritte über Code-Befehle ausgeführt werden. Das eigentliche Training erfolgt dann im Web-Viewer, in dem zudem eigene Kamera-Pfade eingefügt und zu einem Video-Durchflug durch das NeRF gerendert werden können.
Den Code, Beispiele und Informationen gibt es im Nerfstudio-Github. Anleitungen und weitere Hilfen gibt es auf der Docs-Seite von Nerfstudio sowie im Nerfstudio-Discord.
Mehr zum Thema NeRFs und KI-Rendering könnt ihr in unserem DEEP MINDS KI-Podcast mit Nividas Thomas Müller hören.