Open-Source-Nerfstudio erleichtert den Einstieg in 3D-Fotografie
Kurz & Knapp
- Neural Radiance Fields (NeRFs) erstellen fotorealistische 3D-Szenen aus Fotos. Unternehmen wie Nvidia, Google oder Meta sehen sie als wichtige Zukunftstechnologie
- Die Python-Library Nerfstudio erlaubt Menschen mit rudimentären Code-Kenntnissen und passender Hardware das Training eigener NeRFs.
- Nerfstudio bietet neben einem übersichtlichen Web-Interface und verschiedenen NeRF-Methoden auch Dokumentationen.
Neural Radiance Fields (NeRFs) können fotorealistische 3D-Szenen aus Fotos rendern. Das Open-Source-Tool Nerfstudio erleichtert den Einstieg in die neue Visualisierungstechnologie.
Neuronale Grafikmethoden entwickeln sich rasant. Unternehmen wie Nvidia setzen große Hoffnung in die Technologien und investieren in KI-gestützte Rendermethoden wie DLSS und entsprechende Hardware.
Wenn es um die Repräsentation von 3D-Inhalten geht, gelten Neural Radiance Fields (NeRFs) als heißer Kandidat für eine zentrale Visualisierungstechnologie der Zukunft.
NeRFs sind neuronale Netze, die eine 3D-Repräsentation einer Szene aus 2D-Bildern lernen und anschließen auf Abfrage aus neuen Blickwinkeln rendern. So lassen sich etwa Videos in fotorealistische 3D-Szenen oder Fotos einzelner Objekte in einzelne, realistische 3D-Renderings verwandeln.
Nvidia, Google, Deepmind und Meta investieren in NeRFS
Nvidia, Google und Meta haben in den letzten Jahren immer schnellere und bessere NeRF-Methoden vorgestellt, die etwa 3D-Poträts ermöglichen, eines Tages Street View revolutionieren könnten, Licht ins Dunkel bringen oder Objekte schneller ins Metaverse überführen sollen. In Googles Immersive View für Google Maps setzt Google bereits auf eine Variante der Technologie.
Ähnlich wie bei anderen KI-Technologien ist der Zugang zu NeRFs bisher durch hohe Anforderungen an die Rechenleistung und einen Mangel an zugänglichen Tools eingeschränkt. Eine Gruppe Forschende startete jetzt Nerfstudio, eine Python-Library, die einen vereinfachten End-to-End-Prozess für die Erstellung, das Training und die Visualisierung von NeRFs ermöglicht.
Releasing 🌟nerfstudio🌟, a plug-and-play python library to easily create your own NeRFs!@nerfstudioteam is a contributor friendly open-source repo with a realtime web viewer that makes it easy to make cool videos 📽️https://t.co/zw0ZPqIZ4chttps://t.co/NZM8GPjNrF #nerfstudio 1/ pic.twitter.com/hmTz8ePjW1
— Angjoo Kanazawa 🇺🇦 (@akanazawa) October 5, 2022
Nerfstudio soll Einstiegshürde in NeRFs senken
Jede Arbeitsschritt bei der Erstellung von NeRFs sei in Nerfstudio modularisiert, schreibt das Team. Die Software solle eine benutzerfreundliche Erfahrung bei der Erforschung der Technologie schaffen. Neben der API und einem übersichtlichen Web-Interface bietet Nerfstudio Tutorials und Dokumentationen, die den Einstieg erleichtern sollen.
Zu Beginn empfiehlt die Gruppe, erste Erfahrungen mit dem mitgelieferten NeRF einer in Blender erstellten Lego-Szene zu sammeln. Anschließend könne man sich an das Training mit eigenen Bildern wagen.
Amazing render by @brenthyi! Captured on a phone (no drone involved) #nerfacto #NeRF #neuralrendering #AI #computervision #nerfstudio pic.twitter.com/lRegSdfNTa
— nerfstudio (@nerfstudioteam) October 13, 2022
Wer Nerfstudio ausprobieren möchte, benötigt dennoch rudimentäre Code-Kenntnisse - oder etwas Zeit und die Bereitschaft, sich in die Anleitungen einzulesen. Denn ähnlich wie zu Beginn des aktuellen Stable-Diffusion-Booms müssen Datenvorbereitung, Training und andere Schritte über Code-Befehle ausgeführt werden. Das eigentliche Training erfolgt dann im Web-Viewer, in dem zudem eigene Kamera-Pfade eingefügt und zu einem Video-Durchflug durch das NeRF gerendert werden können.
Den Code, Beispiele und Informationen gibt es im Nerfstudio-Github. Anleitungen und weitere Hilfen gibt es auf der Docs-Seite von Nerfstudio sowie im Nerfstudio-Discord.
Mehr zum Thema NeRFs und KI-Rendering könnt ihr in unserem DEEP MINDS KI-Podcast mit Nividas Thomas Müller hören.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.