Inhalt
summary Zusammenfassung

Forschende von Nvidia, der University of Toronto und dem Vector Institute zeigen mit Adaptive Shells eine Methode, die NeRFs auf die nächste Stufe hebt. 

Anzeige

Neuronale Strahlungsfelder (NeRFs) ermöglichen eine beeindruckende Bildqualität in 3D-Grafiken, sind jedoch in ihrer herkömmlichen Form sehr rechenintensiv, da sie eine große Anzahl von Datenpunkten benötigen, um hochauflösende Bilder zu erzeugen. Beim Volume Rendering werden entlang jedes betrachteten Strahls (Ray) mehrere Datenpunkte ausgelesen, die Details über Farbe und Transmission des Punktes im Raum enthalten. Besonders komplexe und unregelmäßige Strukturen wie Blätter oder Haare profitieren von der so möglichen volumetrischen Darstellung und können realistisch wiedergegeben werden. Viele Szenen bestehen jedoch hauptsächlich aus festen Oberflächen, die theoretisch mit deutlich weniger Aufwand dargestellt werden könnten.

Adaptive Shells reduziert die Zahl benötigter Datenpunkten abhängig von einer Hülle, die das Objekt umfasst und in unterschiedliche Zonen aufteilt. | Bild: Nvidia

Nvidias Adaptive Shells baut auf dieser Erkenntnis auf und berechnet nur bestimmte Teile einer Szene detailliert, während andere Teile mit weniger Detailaufwand gerendert werden. Konkret wechselt Adaptive Shells je nach Inhalt zwischen volumetrischer Darstellung (für komplexe Strukturen) und oberflächenbasierter Darstellung (für feste Oberflächen) und nutzt hardwarebeschleunigtes Raytracing, um die notwendigen Informationen zu sammeln.

Adaptive Shells läuft in 4K bei über 60 Bildern pro Sekunde

Nach Angaben der Forschenden ermöglicht die Methode ein deutlich schnelleres Rendern von Bildern als alternative Methoden wie Instant-NGP von Nvidia, und das bei deutlich besserer Bildqualität. In Beispielen zeigt Nvidia, dass Adaptive Shells teilweise doppelt so viele Bilder pro Sekunde rendert und je nach Komplexität zwischen 40 und 300 FPS in FullHD erreicht. Darüber hinaus können selbst komplexe Szenen in 4K-Auflösungen mit DLSS Bildwiederholraten von über 60 Bildern pro Sekunde erreichen.

Anzeige
Anzeige

Das Team zeigt auch, dass Adaptive Shells in der Lage ist, einzelne Objekte mit "unscharfen" Materialien wie Pelz oder Wolle, aber auch ganze 3D-Szenen wie einen Tisch in einem Garten mit einem hohen Detailgrad darzustellen. Die Methode konstruiert auch direkt explizite äußere Schalennetze, die namensgebenden "Adaptive Shells", die alle Regionen des 3D-Raums enthalten, die zum gerenderten Erscheinungsbild beitragen. Die extrahierten Darstellungen können somit für weitere Anwendungen wie Animationen oder physikalische Simulationen verwendet werden.

Adaptive Shells ist somit ein weiterer Schritt in Richtung eines Wandels in der Computergrafik, bei dem neuronale Rendering-Techniken eine immer größere Rolle spielen werden.

Mehr Informationen gibt es auf der Projektseite von Adaptive Shells. Wer mehr über neuronales Rendering und NeRFs erfahren möchte, kann sich unseren DEEP MINDS Podcast #8 mit dem beteiligten Nvidia-Forscher Thomas Müllern anhören.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Forscher von Nvidia, der University of Toronto und dem Vector Institute haben Adaptive Shells entwickelt, eine Methode, die neuronale Strahlungsfelder (NeRFs) in der 3D-Grafik verbessert und beschleunigt.
  • Adaptive Shells berechnet komplexe Strukturen detailliert, während feste Oberflächen mit weniger Detailaufwand gerendert werden, und erreicht je nach Komplexität zwischen 40 und 300 Bilder pro Sekunde.
  • Die Methode zeigt, dass neuronale Rendering-Techniken eine immer größere Rolle in der Computergrafik spielen werden und kann für weitere Anwendungen wie Animationen oder physikalische Simulationen verwendet werden.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!