Instruct-NeRF2NeRF knüpft an Methoden generativer KI-Modelle an und kann 3D-Szenen nach Texteingaben bearbeiten.
Anfang des Jahres zeigten Forschende der University of California Berkeley InstructPix2Pix, eine Methode, mit der Nutzer:innen Bilder in Stable Diffusion mithilfe von Textanweisungen bearbeiten können. Die Methode ermöglicht es beispielsweise, Objekte in Bildern zu ersetzen oder den Stil zu ändern.
Nun hat ein Teil der Forschenden ihre Methode auf die Bearbeitung von NeRFs übertragen. Ausgehend von einem fertig trainierten NeRF und den dafür verwendeten Bildern kann Instruct-NeRF2NeRF die Trainingsbilder nacheinander nach einer Textbeschreibung bearbeiten und das NeRF mit diesen angepassten Bildern neu trainieren.
Instruct-NeRF2NeRF unterstützt simple Objekte und reale Szenen
Das Team zeigt, wie mit dieser Methode ein Kopf zum Beispiel einen Cowboyhut erhält, in ein 3D Ölgemälde, in Batman oder in Albert Einstein verwandelt wird.
Video: Haque et al.
In einem anderen Beispiel werden die Jahreszeit, die Tageszeit oder das Wetter einer Naturaufnahme verändert, in einem anderen kann die Kleidung einer Person ausgetauscht werden.
Video: Haque et al.
Video: Haque et al.
Dem Team zufolge kann die Methode "große reale Szenen bearbeiten und ist in der Lage, realistischere und zielgerichtetere Bearbeitungen durchzuführen als frühere Arbeiten".
Instruct-NeRF2NeRF aktualisiert das NeRF anhand der iterativ veränderten Bilder. Diese Aufgabe wird von InstructPix2Pix übernommen, das durch Texteingabe konditioniert wird.
Instruct-NeRF2NeRF benötigt zwischen 10 und 15 Gigabyte Videospeicher
Das Team veröffentlicht drei verschiedene Versionen von Instruct-NeRF2NeRF, die zwischen 15 und 10 Gigabyte RAM Videospeicher benötigen.
Die größte Version liefert die besten Ergebnisse. Als Einschränkungen nennen die Forschenden die mangelnde Fähigkeit, "große räumliche Manipulationen" vorzunehmen, und das Auftreten von Artefakten wie doppelten Gesichtern.
Weitere Beispiele, Code und Modelle sind auf der Instruct-NeRF2NeRF Projektseite verfügbar. Wie ihr eigene NeRFs erstellen könnt, erfahrt ihr in unserer No-Code-Anleitung für Instant-NGP. Hier zeigen wir euch, wie ihr NeRFs in VR anschauen könnt.