Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

RecolorNeRF kann die Farbe von Objekten oder Beleuchtung in NeRFs ändern. Es ermöglicht so einfache Bildbearbeitung für fotorealistische 3D-Szenen.

Neural Radiance Fields lernen 3D-Darstellungen einer Szene und ersetzen ältere Methoden wie die Photogrammetrie. Einmal gelernt, kann die Szene aus verschiedenen Blickwinkeln gerendert oder als 3D-Objekt exportiert werden.

Forschende der Universität Hongkong und der Universität Hongkong (Shenzhen) stellen nun RecolorNeRF vor, eine Methode, mit der Farben im Netz gezielt verändert werden können.

Ein wenig Photoshop für NeRFs

RecolorNeRF ist nach Angaben des Teams der erste Ansatz, der fotorealistische NeRFs direkt und in hoher Qualität verändern kann. Dazu zerlegen die Forscherinnen und Forscher die Szene in verschiedene Schichten auf einer gelernten Farbpalette, die sie dann verändern können. So bearbeiten sie das NeRF direkt und können die Szene anschließend wie gewohnt rendern.

Anzeige
Anzeige
RecolorNeRF lernt während des Trainings eine Farbpalette und zerlegt die Szene in verschiedene Schichten, die diesen Farben entsprechen. Diese Farbpalette kann dann geändert und das geänderte NeRF in der neuen Farbpalette gerendert werden.| Bild: Gong, Wang et al.

Im Paper zeigt das Team, dass die Methode auch in komplexen Szenen der realen Welt realistische Ergebnisse liefert. RecolorNeRF verändert etwa die Farbe eines Autos oder des Grünstreifens hinter dem Fahrzeug.

Semantische Analysen sollen komplexe NeRF-Bearbeitung ermöglichen

RecolorNeRF bietet somit eine einfache Möglichkeit, Farben in einem NeRF zu ändern. Da die Schichten jedoch nur auf Farbebene zerlegt sind, werden mit dieser Methode alle Objekte, die die gleiche Farbe haben, bei jeder Änderung gleich behandelt. Derzeit ist es nicht möglich, nur ein einzelnes Objekt zu ändern.

Methoden wie RecolorNeRF zeigen jedoch das Potenzial von NeRFs in der Grafikwelt. In Zukunft werden komplexere NeRF-Verarbeitungen möglich sein.

Auch für RecolorNeRF plant das chinesische Team Verbesserungen: Semantische Segmentierung könnte die Szene auf Basis semantischer Informationen statt nur einer Farbpalette in mehrere Ebenen zerlegen - und so in Zukunft die gezielte Bearbeitung einzelner Objekte ermöglichen.

Mehr Beispiele und den Code gibt es auf der Projektseite von RecolorNeRF.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Empfehlung
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Forschende stellen eine Methode vor, mit der sich Farben in einem NeRF bearbeiten lassen.
  • RecolorNeRF zerlegt eine 3D-Szene in nach einer Farbpalette sortierte Schichten. Diese Farben können dann geändert und das NeRF so direkt bearbeitet werden.
  • RecolorNeRF kann so etwa die Farbe eines Autos in einer fotorealistischen Szene ändern.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!