Inhalt
summary Zusammenfassung

Nvidias Instant-NGP erzeugt NeRFs in wenigen Sekunden. Ein neuer Release macht das Tool auch für Laien nutzbar.

Anzeige

Neural Radiance Fields (NeRFs) können aus dutzenden Fotos eine 3D-Szene lernen und diese anschließend fotorealistisch rendern. Die Technologie ist ein heißer Kandidat für die nächste zentrale Visualisierungstechnologie und wird von Unternehmen wie Google oder Nvidia stetig weiterentwickelt. Google setzt NeRFs etwa für Immersive View ein.

Mittlerweile ist die Technologie außerhalb der Forschungslabors bei experimentierfreudigen Fotograf:innen und anderen Künstler:innen angekommen. Doch der Zugang ist noch immer voller Hürden, benötigt oft Code-Kenntnisse und starke Rechenleistung.

Nvidias Instant-NGP und Open-Source-Nerfstudio erleichtern Zugang

Werkzeuge wie das Open-Source-Toolkit Nerfstudio versuchen, den Prozess der NeRF-Erstellung zu vereinfachen und bieten Tutorials, Python-Library und Web-Interface. Nerfstudio setzt unter anderem auf eine Implementation von Instant-NGP (Instant Neural Graphics Primitives), ein Framework von Nvidia-Forschenden, das NeRFs in wenigen Sekunden auf einer einzelnen GPU lernen kann.

Anzeige
Anzeige

Nun hat das Instant-NGP-Team eine neue Version veröffentlicht, die nur noch eine Zeile Code für eigene NeRFs benötigt - alles andere läuft über eine simple ausführbare Datei inklusive Interface.

Wer nur das mitgelieferte Beispiel ausprobieren will oder zusätzlich eine kleine Datei herunterlädt, benötigt gar keinen Code. Instant-NGP läuft auf allen Nvidia-Karten ab der GTX-1000-Serie und benötigt auf Windows CUDA 11.5 oder höher.

Instant-NGP: Erste Schritte zum Fuchs-NeRF

Um mit Instant-NGP das mitgelieferte Fuchs-Beispiel zu trainieren, müsst ihr lediglich den für eure Nvidia-Grafikkarte passenden Windows Binary Release von Instant-NGP laden. Startet das Interface über die instant-ngp.exe im heruntergeladenen Ordner. Anschließend könnt ihr unter data/nerf/ den fox-Ordner in das Instant-NGP-Fenster ziehen und das Training startet. Nach wenigen Sekunden sollte ein Fuchskopf an einer Wand sichtbar sein.

Jetzt könnt ihr über die Einstellungen etwa Meshs erzeugen oder über das Kamera-Interface einen Kamera-Pfad planen und anschließend ein Video rendern. Das wird im Instant-NGP-Ordner gespeichert. Wie das geht, zeigt etwa Jonathan Stephens von EveryPoint in seinem kurzen Videotutorial auf Youtube.

So verwandelt ihr ein eigenes Video in ein NeRF

Für ein eigenes NeRF unterstützt Instant-NGP zwei Ansätze: COLMAP zum Erstellen eines Datensatzes aus einer Reihe von Fotos oder einem Video, das ihr aufgenommen habt oder Record3D, um einen Datensatz mit einem iPhone 12 Pro oder neuer (basierend auf ARKit) zu erstellen.

Empfehlung

Beide Methoden extrahieren aus Videos Bilder und schätzen für jedes Bild im Trainingsdatensatz die Kameraposition, da diese für das NeRF-Training notwendig ist.

Wer keinerlei Code-Kenntnisse besitzt, kann aus dem InstantNGP-Batch-GitHub von Stephens zwei simple .bat-Dateien herunterladen - eines für Fotos und eines für Videos. Einfach die Dateien in den Instant-NGP-Ordner schieben und ein Video oder einen Ordner Bilder auf die entsprechende .bat-Datei ziehen.

So sollte euer Ordner aussehen, nachdem ihr die .bat-Dateien geladen habt. | Bild: Jonathan Stephens

Bei einem Video müsst ihr noch einen Wert bestimmen, der festlegt, wie viele Bilder pro Sekunde Videomaterial extrahiert werden. Der Wert sollte am Ende zwischen 150 und 300 Bilder für das gesamte Video ergeben. Ein Wert von 2 ergibt etwa 120 Bilder für einen 60-Sekunden-Clip.

Kaktus-NeRF nervt - aber ist ja mein erster Versuch

Sobald der Prozess abgeschlossen ist, öffnet sich das Instant-NGP-Fenster und der Trainingsprozess beginnt automatisch. Nun könnt ihr wie oben beschrieben Trainingsparameter ändern, DLSS anschalten oder ein Video rendern.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Mein erster Versuch ist voller Artefakte, die sich wohl leicht beheben lassen - etwa über einen angepassten aabb_scale-Wert, der beeinflusst, wie weit die NeRF-Implementierung Strahlen verfolgt. Aber dafür dauert der Prozess inklusive Videoaufnahme unter fünf Minuten. Als GPU habe ich eine RTX 3060 Ti eingesetzt.

Wer mehr über NeRFs und andere KI-gestützte Rendering-Methoden lernen möchte, kann sich unseren DEEP MINDS KI-Podcast mit Instant-NGP-Entwickler Thomas Müller anhören.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Nvidias Instant-NGP kann NeRFs in wenigen Sekunden trainieren. Ein neuer Release macht den Einstieg ins NeRF-Training noch einfacher.
  • Mit Instant-NGP und InstantNGP-Batch zusammen, könnt ihr ein eigenes NeRF komplett ohne Code-Kenntnisse trainieren und ein Video rendern.
  • Mein erstes NeRF habe ich so in unter fünf Minuten erstellt, inklusive Videoaufnahme.
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!