Instruct-NeRF2NeRF: Neue Methode kann 3D-Szenen per Text bearbeiten
Instruct-NeRF2NeRF knüpft an Methoden generativer KI-Modelle an und kann 3D-Szenen nach Texteingaben bearbeiten.
Anfang des Jahres zeigten Forschende der University of California Berkeley InstructPix2Pix, eine Methode, mit der Nutzer:innen Bilder in Stable Diffusion mithilfe von Textanweisungen bearbeiten können. Die Methode ermöglicht es beispielsweise, Objekte in Bildern zu ersetzen oder den Stil zu ändern.
Nun hat ein Teil der Forschenden ihre Methode auf die Bearbeitung von NeRFs übertragen. Ausgehend von einem fertig trainierten NeRF und den dafür verwendeten Bildern kann Instruct-NeRF2NeRF die Trainingsbilder nacheinander nach einer Textbeschreibung bearbeiten und das NeRF mit diesen angepassten Bildern neu trainieren.
Instruct-NeRF2NeRF unterstützt simple Objekte und reale Szenen
Das Team zeigt, wie mit dieser Methode ein Kopf zum Beispiel einen Cowboyhut erhält, in ein 3D Ölgemälde, in Batman oder in Albert Einstein verwandelt wird.
Video: Haque et al.
In einem anderen Beispiel werden die Jahreszeit, die Tageszeit oder das Wetter einer Naturaufnahme verändert, in einem anderen kann die Kleidung einer Person ausgetauscht werden.
Video: Haque et al.
Video: Haque et al.
Dem Team zufolge kann die Methode "große reale Szenen bearbeiten und ist in der Lage, realistischere und zielgerichtetere Bearbeitungen durchzuführen als frühere Arbeiten".
Instruct-NeRF2NeRF aktualisiert das NeRF anhand der iterativ veränderten Bilder. Diese Aufgabe wird von InstructPix2Pix übernommen, das durch Texteingabe konditioniert wird.
Instruct-NeRF2NeRF benötigt zwischen 10 und 15 Gigabyte Videospeicher
Das Team veröffentlicht drei verschiedene Versionen von Instruct-NeRF2NeRF, die zwischen 15 und 10 Gigabyte RAM Videospeicher benötigen.
Die größte Version liefert die besten Ergebnisse. Als Einschränkungen nennen die Forschenden die mangelnde Fähigkeit, "große räumliche Manipulationen" vorzunehmen, und das Auftreten von Artefakten wie doppelten Gesichtern.
Weitere Beispiele, Code und Modelle sind auf der Instruct-NeRF2NeRF Projektseite verfügbar. Wie ihr eigene NeRFs erstellen könnt, erfahrt ihr in unserer No-Code-Anleitung für Instant-NGP. Hier zeigen wir euch, wie ihr NeRFs in VR anschauen könnt.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar“‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnierenKI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.