RecolorNeRF ist wie ein Mini-Photoshop für NeRFs
Kurz & Knapp
- Forschende stellen eine Methode vor, mit der sich Farben in einem NeRF bearbeiten lassen.
- RecolorNeRF zerlegt eine 3D-Szene in nach einer Farbpalette sortierte Schichten. Diese Farben können dann geändert und das NeRF so direkt bearbeitet werden.
- RecolorNeRF kann so etwa die Farbe eines Autos in einer fotorealistischen Szene ändern.
RecolorNeRF kann die Farbe von Objekten oder Beleuchtung in NeRFs ändern. Es ermöglicht so einfache Bildbearbeitung für fotorealistische 3D-Szenen.
Neural Radiance Fields lernen 3D-Darstellungen einer Szene und ersetzen ältere Methoden wie die Photogrammetrie. Einmal gelernt, kann die Szene aus verschiedenen Blickwinkeln gerendert oder als 3D-Objekt exportiert werden.
Forschende der Universität Hongkong und der Universität Hongkong (Shenzhen) stellen nun RecolorNeRF vor, eine Methode, mit der Farben im Netz gezielt verändert werden können.
Ein wenig Photoshop für NeRFs
RecolorNeRF ist nach Angaben des Teams der erste Ansatz, der fotorealistische NeRFs direkt und in hoher Qualität verändern kann. Dazu zerlegen die Forscherinnen und Forscher die Szene in verschiedene Schichten auf einer gelernten Farbpalette, die sie dann verändern können. So bearbeiten sie das NeRF direkt und können die Szene anschließend wie gewohnt rendern.
Im Paper zeigt das Team, dass die Methode auch in komplexen Szenen der realen Welt realistische Ergebnisse liefert. RecolorNeRF verändert etwa die Farbe eines Autos oder des Grünstreifens hinter dem Fahrzeug.
Semantische Analysen sollen komplexe NeRF-Bearbeitung ermöglichen
RecolorNeRF bietet somit eine einfache Möglichkeit, Farben in einem NeRF zu ändern. Da die Schichten jedoch nur auf Farbebene zerlegt sind, werden mit dieser Methode alle Objekte, die die gleiche Farbe haben, bei jeder Änderung gleich behandelt. Derzeit ist es nicht möglich, nur ein einzelnes Objekt zu ändern.
Methoden wie RecolorNeRF zeigen jedoch das Potenzial von NeRFs in der Grafikwelt. In Zukunft werden komplexere NeRF-Verarbeitungen möglich sein.
Auch für RecolorNeRF plant das chinesische Team Verbesserungen: Semantische Segmentierung könnte die Szene auf Basis semantischer Informationen statt nur einer Farbpalette in mehrere Ebenen zerlegen - und so in Zukunft die gezielte Bearbeitung einzelner Objekte ermöglichen.
Mehr Beispiele und den Code gibt es auf der Projektseite von RecolorNeRF.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.