Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Mit NeRFshop können Objekte in NeRFs direkt bearbeitet werden. Das Projekt zeigt, wie die Zukunft des kreativen Arbeitens aussehen könnte.

Neural Radiance Fields (NeRFs) sind eine neuronale 3D-Repräsentation von Szenen oder Objekten und haben sich in den letzten Jahren immer deutlicher als zentrale Technologie für neuronale Grafik herauskristallisiert. Tools wie InstantNGP von Nvidia, Nerfstudio oder Apps wie Luma AI ermöglichen es, 3D-Szenen aus einer einfachen Videoaufnahme zu lernen und dabei sogar die korrekte Belichtung beizubehalten.

NeRF lassen sich bisher nicht bearbeiten

Die komplexen Repräsentationen innerhalb der neuronalen Netze machen es jedoch schwierig, Inhalte direkt in neuronalen Netzen zu bearbeiten. Es gibt zwar Projekte wie RecolorNeRF, mit denen die Farbpalette in NeRFs verändert werden kann, aber umfassende Änderungen etwa an der Form von Objekten sind bisher nicht möglich.

Mit NeRFshop zeigen europäische Forschende nun eine Methode, mit der die Position von Objekten innerhalb von NeRFs verändert oder ihre Form angepasst werden kann. Nutzer:innen können dafür innerhalb von InstantNGP ein Objekt mit einem einfachen Pinsel markieren, ein Algorithmus wandelt die Markierung dann in eine 3D-Region um, die noch angepasst werden kann. Diese Region kann dann in ein Tetraeder umgewandelt werden.

Anzeige
Anzeige

Dieser so entstandene begrenzende Tetraeder-Käfig kann dann gezielt manipuliert werden: Eine Tasse verändert ihre Position auf einem Tisch, ein Bagger dreht seine Schaufel oder die Finger einer Figur schließen sich zur Faust.

NeRFshop soll weiter verbessert werden

Die Veränderungen in den NeRFs können anschließend durch ein erneutes Training gelernt und damit fixiert werden - sie können dann wie gewohnt in den üblichen Pipelines weiterverarbeitet werden.

Das Team möchte mit seiner Arbeit neue Trends in der Manipulation von neuronalen Szenen fördern und in Zukunft Methoden erforschen, die Unstimmigkeiten in der Beleuchtung, Schatten und Highlights nach der Bearbeitung korrigieren können. Denn bei der Verarbeitung entstehen Artefakte und auffällige Verzerrungen, die NeRFshop aber zum Teil bereits reduziert.

Weitere Verbesserungen sind möglich, wenn der Käfig feiner wird. "Eine solche Methode schnell genug zu machen, um die Interaktivität zu erhalten, ist jedoch noch eine offene Herausforderung", so das Team.

Weitere Informationen und Beispiele gibt es auf der Projektseite von NeRFshop. Ein weiterer Ansatz, NeRF-Technologie einfacher zugänglich zu machen, ist das Open-Source-Nerfstudio, das einen vereinfachten End-to-End-Prozess für die Erstellung, das Training und die Visualisierung von NeRFs ermöglicht.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Empfehlung
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • NeRFshop ermöglicht es, Objekte direkt in NeRFs zu verschieben, zu drehen oder zu verformen.
  • NeRFshop läuft in InstantNGP von Nvidia und die modifizierten NeRFs können anschließend über die üblichen Pipelines weiterverarbeitet werden.
  • Das Team plant weitere Verbesserungen, um bestehende Artefakte und Beleuchtungsprobleme zu beheben.
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!