Mit NeRFshop können Objekte in NeRFs direkt bearbeitet werden. Das Projekt zeigt, wie die Zukunft des kreativen Arbeitens aussehen könnte.
Neural Radiance Fields (NeRFs) sind eine neuronale 3D-Repräsentation von Szenen oder Objekten und haben sich in den letzten Jahren immer deutlicher als zentrale Technologie für neuronale Grafik herauskristallisiert. Tools wie InstantNGP von Nvidia, Nerfstudio oder Apps wie Luma AI ermöglichen es, 3D-Szenen aus einer einfachen Videoaufnahme zu lernen und dabei sogar die korrekte Belichtung beizubehalten.
NeRF lassen sich bisher nicht bearbeiten
Die komplexen Repräsentationen innerhalb der neuronalen Netze machen es jedoch schwierig, Inhalte direkt in neuronalen Netzen zu bearbeiten. Es gibt zwar Projekte wie RecolorNeRF, mit denen die Farbpalette in NeRFs verändert werden kann, aber umfassende Änderungen etwa an der Form von Objekten sind bisher nicht möglich.
Mit NeRFshop zeigen europäische Forschende nun eine Methode, mit der die Position von Objekten innerhalb von NeRFs verändert oder ihre Form angepasst werden kann. Nutzer:innen können dafür innerhalb von InstantNGP ein Objekt mit einem einfachen Pinsel markieren, ein Algorithmus wandelt die Markierung dann in eine 3D-Region um, die noch angepasst werden kann. Diese Region kann dann in ein Tetraeder umgewandelt werden.
Dieser so entstandene begrenzende Tetraeder-Käfig kann dann gezielt manipuliert werden: Eine Tasse verändert ihre Position auf einem Tisch, ein Bagger dreht seine Schaufel oder die Finger einer Figur schließen sich zur Faust.
NeRFshop soll weiter verbessert werden
Die Veränderungen in den NeRFs können anschließend durch ein erneutes Training gelernt und damit fixiert werden - sie können dann wie gewohnt in den üblichen Pipelines weiterverarbeitet werden.
Das Team möchte mit seiner Arbeit neue Trends in der Manipulation von neuronalen Szenen fördern und in Zukunft Methoden erforschen, die Unstimmigkeiten in der Beleuchtung, Schatten und Highlights nach der Bearbeitung korrigieren können. Denn bei der Verarbeitung entstehen Artefakte und auffällige Verzerrungen, die NeRFshop aber zum Teil bereits reduziert.
Weitere Verbesserungen sind möglich, wenn der Käfig feiner wird. "Eine solche Methode schnell genug zu machen, um die Interaktivität zu erhalten, ist jedoch noch eine offene Herausforderung", so das Team.
Weitere Informationen und Beispiele gibt es auf der Projektseite von NeRFshop. Ein weiterer Ansatz, NeRF-Technologie einfacher zugänglich zu machen, ist das Open-Source-Nerfstudio, das einen vereinfachten End-to-End-Prozess für die Erstellung, das Training und die Visualisierung von NeRFs ermöglicht.
