Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Menschen machen aus vielen Gründen Fotos, einer davon ist, Erinnerungen festzuhalten. Die nächste Generation von Erinnerungsfotos könnten NeRFs sein, die mit Zip-NeRF ein Qualitäts-Upgrade bei hoher Geschwindigkeit erhalten.

Forschende von Google zeigen Zip-NeRF, ein NeRF-Modell, das die Vorteile von Grid-basierten Verfahren und dem Mipmap-basierten mip-NeRF 360 kombiniert.

Grid-basierte NeRF-Verfahren wie Instant-NGP trainieren 3D-Szenen bis zu achtmal schneller als alternative NeRF-Verfahren, haben aber eine schlechtere Bildqualität, da die Gitter-Methode zu stärkerem Aliasing führt und Details im Bild verloren gehen können.

Mip-NeRF verarbeitet Subvolumina mit Tiefeninformationen statt eines Gitters. Dies ermöglicht mehr Bilddetails bei weniger Aliasing, aber die Trainingszeit für eine 3D-Szene kann mehrere Stunden betragen.

Anzeige
Anzeige

Das Beste aus zwei NeRF-Techniken

Die Google-Forscher haben jetzt eine Methode entwickelt, um die hohe Bildqualität von mip-NeRF mit der schnellen Trainingszeit von gitterbasierten Modellen zu kombinieren. Das Ergebnis sind qualitativ hochwertige 3D-Szenen mit weniger Aliasing, 8 Prozent bis 76 Prozent weniger Bildfehlern je nach Szene und einer 22-mal kürzeren Trainingszeit als bei mip-NeRF 360.

Rechts ist zip-NeRF, links eine alternative NeRF-Methode. Die Speichen des Fahrrads zeigen deutlich geringeres Aliasing. |Bild: Barron et al.

In Demos zeigt das Forschungsteam eindrucksvolle, umfangreiche 3D-NeRF-Szenen, die ein ganzes Haus samt Garten digital konservieren. Mit einer VR-Brille ist diese Szene in Originaldimensionen begehbar, ähnlich wie das reale Haus, allerdings statisch wie ein Foto. Die 3D-Szene setzt zip-NeRF im Trainingsprozess aus vielen einzelnen 2D-Fotos zusammen.

Mip-NeRF trainiert diese Szene in rund 22 Stunden, während Zip-NeRF nur mehr knapp eine Stunde benötigt bei gleichzeitig besserer Bildqualität. Eine alternative Kombination aus Mip-NeRF 360 und Instant NGP trainiert zwar circa dreimal schneller, hat aber eine deutlich schlechtere Bildqualität und Artefakte.

Zip-NeRF, Mip-NeRF 360 und die Vergleichsversion "mip-NeRF 360 + iNGP" wurden auf acht Nvidia Tesla V100-SXM2-16GB GPUs trainiert, andere Vergleichsmodelle teilweise nur auf einer einzelnen Nvidia 3090.

In unsere No-Code-Anleitung für Nvidia Instant-NGP erfahrt ihr, wie ihr ein eigenes NeRF erstellen könnt, und wie ihr dieses in VR ansehen könnt. Auch das Open-Source-Nerfstudio erleichtert den Einstieg in die NeRF-Produktion.

Empfehlung

Mehr über Künstliche Intelligenz für Computergrafik gibt’s in unserem DEEP MINDS KI-Podcast zum Thema.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • NeRF-Technologien können aus wenigen Fotos realer Umgebungen eine statische 3D-Szene zusammensetzen, die dann dreidimensional begehbar ist.
  • Mit Zip-NeRF zeigen Google-Forscher nun ein neues NeRF-Verfahren, das qualitativ hochwertig und dennoch schnell trainierbar ist.
  • In Demos zeigt das Forscherteam beeindruckende, große 3D-NeRF-Szenen, die ein ganzes Haus samt Garten digital konservieren.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!