RecolorNeRF kann die Farbe von Objekten oder Beleuchtung in NeRFs ändern. Es ermöglicht so einfache Bildbearbeitung für fotorealistische 3D-Szenen.
Neural Radiance Fields lernen 3D-Darstellungen einer Szene und ersetzen ältere Methoden wie die Photogrammetrie. Einmal gelernt, kann die Szene aus verschiedenen Blickwinkeln gerendert oder als 3D-Objekt exportiert werden.
Forschende der Universität Hongkong und der Universität Hongkong (Shenzhen) stellen nun RecolorNeRF vor, eine Methode, mit der Farben im Netz gezielt verändert werden können.
Ein wenig Photoshop für NeRFs
RecolorNeRF ist nach Angaben des Teams der erste Ansatz, der fotorealistische NeRFs direkt und in hoher Qualität verändern kann. Dazu zerlegen die Forscherinnen und Forscher die Szene in verschiedene Schichten auf einer gelernten Farbpalette, die sie dann verändern können. So bearbeiten sie das NeRF direkt und können die Szene anschließend wie gewohnt rendern.
Im Paper zeigt das Team, dass die Methode auch in komplexen Szenen der realen Welt realistische Ergebnisse liefert. RecolorNeRF verändert etwa die Farbe eines Autos oder des Grünstreifens hinter dem Fahrzeug.
Semantische Analysen sollen komplexe NeRF-Bearbeitung ermöglichen
RecolorNeRF bietet somit eine einfache Möglichkeit, Farben in einem NeRF zu ändern. Da die Schichten jedoch nur auf Farbebene zerlegt sind, werden mit dieser Methode alle Objekte, die die gleiche Farbe haben, bei jeder Änderung gleich behandelt. Derzeit ist es nicht möglich, nur ein einzelnes Objekt zu ändern.
Methoden wie RecolorNeRF zeigen jedoch das Potenzial von NeRFs in der Grafikwelt. In Zukunft werden komplexere NeRF-Verarbeitungen möglich sein.
Auch für RecolorNeRF plant das chinesische Team Verbesserungen: Semantische Segmentierung könnte die Szene auf Basis semantischer Informationen statt nur einer Farbpalette in mehrere Ebenen zerlegen - und so in Zukunft die gezielte Bearbeitung einzelner Objekte ermöglichen.
Mehr Beispiele und den Code gibt es auf der Projektseite von RecolorNeRF.