Nvidias Adaptive Shells gibt einen Einblick in die nahe Zukunft der Computergrafik
Kurz & Knapp
- Forscher von Nvidia, der University of Toronto und dem Vector Institute haben Adaptive Shells entwickelt, eine Methode, die neuronale Strahlungsfelder (NeRFs) in der 3D-Grafik verbessert und beschleunigt.
- Adaptive Shells berechnet komplexe Strukturen detailliert, während feste Oberflächen mit weniger Detailaufwand gerendert werden, und erreicht je nach Komplexität zwischen 40 und 300 Bilder pro Sekunde.
- Die Methode zeigt, dass neuronale Rendering-Techniken eine immer größere Rolle in der Computergrafik spielen werden und kann für weitere Anwendungen wie Animationen oder physikalische Simulationen verwendet werden.
Forschende von Nvidia, der University of Toronto und dem Vector Institute zeigen mit Adaptive Shells eine Methode, die NeRFs auf die nächste Stufe hebt.
Neuronale Strahlungsfelder (NeRFs) ermöglichen eine beeindruckende Bildqualität in 3D-Grafiken, sind jedoch in ihrer herkömmlichen Form sehr rechenintensiv, da sie eine große Anzahl von Datenpunkten benötigen, um hochauflösende Bilder zu erzeugen. Beim Volume Rendering werden entlang jedes betrachteten Strahls (Ray) mehrere Datenpunkte ausgelesen, die Details über Farbe und Transmission des Punktes im Raum enthalten. Besonders komplexe und unregelmäßige Strukturen wie Blätter oder Haare profitieren von der so möglichen volumetrischen Darstellung und können realistisch wiedergegeben werden. Viele Szenen bestehen jedoch hauptsächlich aus festen Oberflächen, die theoretisch mit deutlich weniger Aufwand dargestellt werden könnten.
Nvidias Adaptive Shells baut auf dieser Erkenntnis auf und berechnet nur bestimmte Teile einer Szene detailliert, während andere Teile mit weniger Detailaufwand gerendert werden. Konkret wechselt Adaptive Shells je nach Inhalt zwischen volumetrischer Darstellung (für komplexe Strukturen) und oberflächenbasierter Darstellung (für feste Oberflächen) und nutzt hardwarebeschleunigtes Raytracing, um die notwendigen Informationen zu sammeln.
Adaptive Shells läuft in 4K bei über 60 Bildern pro Sekunde
Nach Angaben der Forschenden ermöglicht die Methode ein deutlich schnelleres Rendern von Bildern als alternative Methoden wie Instant-NGP von Nvidia, und das bei deutlich besserer Bildqualität. In Beispielen zeigt Nvidia, dass Adaptive Shells teilweise doppelt so viele Bilder pro Sekunde rendert und je nach Komplexität zwischen 40 und 300 FPS in FullHD erreicht. Darüber hinaus können selbst komplexe Szenen in 4K-Auflösungen mit DLSS Bildwiederholraten von über 60 Bildern pro Sekunde erreichen.
Das Team zeigt auch, dass Adaptive Shells in der Lage ist, einzelne Objekte mit "unscharfen" Materialien wie Pelz oder Wolle, aber auch ganze 3D-Szenen wie einen Tisch in einem Garten mit einem hohen Detailgrad darzustellen. Die Methode konstruiert auch direkt explizite äußere Schalennetze, die namensgebenden "Adaptive Shells", die alle Regionen des 3D-Raums enthalten, die zum gerenderten Erscheinungsbild beitragen. Die extrahierten Darstellungen können somit für weitere Anwendungen wie Animationen oder physikalische Simulationen verwendet werden.
Adaptive Shells ist somit ein weiterer Schritt in Richtung eines Wandels in der Computergrafik, bei dem neuronale Rendering-Techniken eine immer größere Rolle spielen werden.
Mehr Informationen gibt es auf der Projektseite von Adaptive Shells. Wer mehr über neuronales Rendering und NeRFs erfahren möchte, kann sich unseren DEEP MINDS Podcast #8 mit dem beteiligten Nvidia-Forscher Thomas Müllern anhören.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.