Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Neural Radiance Fields (NeRFs) können fotorealistische 3D-Szenen aus Fotos rendern. Das Open-Source-Tool Nerfstudio erleichtert den Einstieg in die neue Visualisierungstechnologie.

Neuronale Grafikmethoden entwickeln sich rasant. Unternehmen wie Nvidia setzen große Hoffnung in die Technologien und investieren in KI-gestützte Rendermethoden wie DLSS und entsprechende Hardware.

Wenn es um die Repräsentation von 3D-Inhalten geht, gelten Neural Radiance Fields (NeRFs) als heißer Kandidat für eine zentrale Visualisierungstechnologie der Zukunft.

NeRFs sind neuronale Netze, die eine 3D-Repräsentation einer Szene aus 2D-Bildern lernen und anschließen auf Abfrage aus neuen Blickwinkeln rendern. So lassen sich etwa Videos in fotorealistische 3D-Szenen oder Fotos einzelner Objekte in einzelne, realistische 3D-Renderings verwandeln.

Anzeige
Anzeige

Nvidia, Google, Deepmind und Meta investieren in NeRFS

Nvidia, Google und Meta haben in den letzten Jahren immer schnellere und bessere NeRF-Methoden vorgestellt, die etwa 3D-Poträts ermöglichen, eines Tages Street View revolutionieren könnten, Licht ins Dunkel bringen oder Objekte schneller ins Metaverse überführen sollen. In Googles Immersive View für Google Maps setzt Google bereits auf eine Variante der Technologie.

Ähnlich wie bei anderen KI-Technologien ist der Zugang zu NeRFs bisher durch hohe Anforderungen an die Rechenleistung und einen Mangel an zugänglichen Tools eingeschränkt. Eine Gruppe Forschende startete jetzt Nerfstudio, eine Python-Library, die einen vereinfachten End-to-End-Prozess für die Erstellung, das Training und die Visualisierung von NeRFs ermöglicht.

Nerfstudio soll Einstiegshürde in NeRFs senken

Jede Arbeitsschritt bei der Erstellung von NeRFs sei in Nerfstudio modularisiert, schreibt das Team. Die Software solle eine benutzerfreundliche Erfahrung bei der Erforschung der Technologie schaffen. Neben der API und einem übersichtlichen Web-Interface bietet Nerfstudio Tutorials und Dokumentationen, die den Einstieg erleichtern sollen.

Zu Beginn empfiehlt die Gruppe, erste Erfahrungen mit dem mitgelieferten NeRF einer in Blender erstellten Lego-Szene zu sammeln. Anschließend könne man sich an das Training mit eigenen Bildern wagen.

Empfehlung

Wer Nerfstudio ausprobieren möchte, benötigt dennoch rudimentäre Code-Kenntnisse - oder etwas Zeit und die Bereitschaft, sich in die Anleitungen einzulesen. Denn ähnlich wie zu Beginn des aktuellen Stable-Diffusion-Booms müssen Datenvorbereitung, Training und andere Schritte über Code-Befehle ausgeführt werden. Das eigentliche Training erfolgt dann im Web-Viewer, in dem zudem eigene Kamera-Pfade eingefügt und zu einem Video-Durchflug durch das NeRF gerendert werden können.

Den Code, Beispiele und Informationen gibt es im Nerfstudio-Github. Anleitungen und weitere Hilfen gibt es auf der Docs-Seite von Nerfstudio sowie im Nerfstudio-Discord.

Mehr zum Thema NeRFs und KI-Rendering könnt ihr in unserem DEEP MINDS KI-Podcast mit Nividas Thomas Müller hören.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Neural Radiance Fields (NeRFs) erstellen fotorealistische 3D-Szenen aus Fotos. Unternehmen wie Nvidia, Google oder Meta sehen sie als wichtige Zukunftstechnologie
  • Die Python-Library Nerfstudio erlaubt Menschen mit rudimentären Code-Kenntnissen und passender Hardware das Training eigener NeRFs.
  • Nerfstudio bietet neben einem übersichtlichen Web-Interface und verschiedenen NeRF-Methoden auch Dokumentationen.
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!