Zip-NeRFs sind ein weiterer Schritt zur digitalen Zeitmaschine
Menschen machen aus vielen Gründen Fotos, einer davon ist, Erinnerungen festzuhalten. Die nächste Generation von Erinnerungsfotos könnten NeRFs sein, die mit Zip-NeRF ein Qualitäts-Upgrade bei hoher Geschwindigkeit erhalten.
Forschende von Google zeigen Zip-NeRF, ein NeRF-Modell, das die Vorteile von Grid-basierten Verfahren und dem Mipmap-basierten mip-NeRF 360 kombiniert.
Grid-basierte NeRF-Verfahren wie Instant-NGP trainieren 3D-Szenen bis zu achtmal schneller als alternative NeRF-Verfahren, haben aber eine schlechtere Bildqualität, da die Gitter-Methode zu stärkerem Aliasing führt und Details im Bild verloren gehen können.
Mip-NeRF verarbeitet Subvolumina mit Tiefeninformationen statt eines Gitters. Dies ermöglicht mehr Bilddetails bei weniger Aliasing, aber die Trainingszeit für eine 3D-Szene kann mehrere Stunden betragen.
Das Beste aus zwei NeRF-Techniken
Die Google-Forscher haben jetzt eine Methode entwickelt, um die hohe Bildqualität von mip-NeRF mit der schnellen Trainingszeit von gitterbasierten Modellen zu kombinieren. Das Ergebnis sind qualitativ hochwertige 3D-Szenen mit weniger Aliasing, 8 Prozent bis 76 Prozent weniger Bildfehlern je nach Szene und einer 22-mal kürzeren Trainingszeit als bei mip-NeRF 360.
In Demos zeigt das Forschungsteam eindrucksvolle, umfangreiche 3D-NeRF-Szenen, die ein ganzes Haus samt Garten digital konservieren. Mit einer VR-Brille ist diese Szene in Originaldimensionen begehbar, ähnlich wie das reale Haus, allerdings statisch wie ein Foto. Die 3D-Szene setzt zip-NeRF im Trainingsprozess aus vielen einzelnen 2D-Fotos zusammen.
Mip-NeRF trainiert diese Szene in rund 22 Stunden, während Zip-NeRF nur mehr knapp eine Stunde benötigt bei gleichzeitig besserer Bildqualität. Eine alternative Kombination aus Mip-NeRF 360 und Instant NGP trainiert zwar circa dreimal schneller, hat aber eine deutlich schlechtere Bildqualität und Artefakte.
Zip-NeRF, Mip-NeRF 360 und die Vergleichsversion "mip-NeRF 360 + iNGP" wurden auf acht Nvidia Tesla V100-SXM2-16GB GPUs trainiert, andere Vergleichsmodelle teilweise nur auf einer einzelnen Nvidia 3090.
In unsere No-Code-Anleitung für Nvidia Instant-NGP erfahrt ihr, wie ihr ein eigenes NeRF erstellen könnt, und wie ihr dieses in VR ansehen könnt. Auch das Open-Source-Nerfstudio erleichtert den Einstieg in die NeRF-Produktion.
Mehr über Künstliche Intelligenz für Computergrafik gibt’s in unserem DEEP MINDS KI-Podcast zum Thema.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar“‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnierenKI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.