Inhalt
summary Zusammenfassung

Instruct-NeRF2NeRF knüpft an Methoden generativer KI-Modelle an und kann 3D-Szenen nach Texteingaben bearbeiten.

Anzeige

Anfang des Jahres zeigten Forschende der University of California Berkeley InstructPix2Pix, eine Methode, mit der Nutzer:innen Bilder in Stable Diffusion mithilfe von Textanweisungen bearbeiten können. Die Methode ermöglicht es beispielsweise, Objekte in Bildern zu ersetzen oder den Stil zu ändern.

Nun hat ein Teil der Forschenden ihre Methode auf die Bearbeitung von NeRFs übertragen. Ausgehend von einem fertig trainierten NeRF und den dafür verwendeten Bildern kann Instruct-NeRF2NeRF die Trainingsbilder nacheinander nach einer Textbeschreibung bearbeiten und das NeRF mit diesen angepassten Bildern neu trainieren.

Instruct-NeRF2NeRF unterstützt simple Objekte und reale Szenen

Das Team zeigt, wie mit dieser Methode ein Kopf zum Beispiel einen Cowboyhut erhält, in ein 3D Ölgemälde, in Batman oder in Albert Einstein verwandelt wird.

Anzeige
Anzeige

Video: Haque et al.

In einem anderen Beispiel werden die Jahreszeit, die Tageszeit oder das Wetter einer Naturaufnahme verändert, in einem anderen kann die Kleidung einer Person ausgetauscht werden.

Video: Haque et al.

Video: Haque et al.

Dem Team zufolge kann die Methode "große reale Szenen bearbeiten und ist in der Lage, realistischere und zielgerichtetere Bearbeitungen durchzuführen als frühere Arbeiten".

Empfehlung

Instruct-NeRF2NeRF aktualisiert das NeRF anhand der iterativ veränderten Bilder. Diese Aufgabe wird von InstructPix2Pix übernommen, das durch Texteingabe konditioniert wird.

Instruct-NeRF2NeRF benötigt zwischen 10 und 15 Gigabyte Videospeicher

Das Team veröffentlicht drei verschiedene Versionen von Instruct-NeRF2NeRF, die zwischen 15 und 10 Gigabyte RAM Videospeicher benötigen.

Die größte Version liefert die besten Ergebnisse. Als Einschränkungen nennen die Forschenden die mangelnde Fähigkeit, "große räumliche Manipulationen" vorzunehmen, und das Auftreten von Artefakten wie doppelten Gesichtern.

Weitere Beispiele, Code und Modelle sind auf der Instruct-NeRF2NeRF Projektseite verfügbar. Wie ihr eigene NeRFs erstellen könnt, erfahrt ihr in unserer No-Code-Anleitung für Instant-NGP. Hier zeigen wir euch, wie ihr NeRFs in VR anschauen könnt.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Instruct-NeRF2NeRF lässt euch NeRFs per Texteingabe bearbeiten. Dahinter steht das Team von InstructPix2Pix zur Bildbearbeitung via Stable Diffusion.
  • Mit der Methode lassen sich etwa Gesichter bearbeiten, Tageszeiten ändern oder die Kleidung einer Person wechseln.
  • Das Team veröffentlicht drei Versionen, die zwischen 10 und 15 Gigabyte Videospeicher benötigen.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!