Forschende von Nvidia, der University of Toronto und dem Vector Institute zeigen mit Adaptive Shells eine Methode, die NeRFs auf die nächste Stufe hebt.
Neuronale Strahlungsfelder (NeRFs) ermöglichen eine beeindruckende Bildqualität in 3D-Grafiken, sind jedoch in ihrer herkömmlichen Form sehr rechenintensiv, da sie eine große Anzahl von Datenpunkten benötigen, um hochauflösende Bilder zu erzeugen. Beim Volume Rendering werden entlang jedes betrachteten Strahls (Ray) mehrere Datenpunkte ausgelesen, die Details über Farbe und Transmission des Punktes im Raum enthalten. Besonders komplexe und unregelmäßige Strukturen wie Blätter oder Haare profitieren von der so möglichen volumetrischen Darstellung und können realistisch wiedergegeben werden. Viele Szenen bestehen jedoch hauptsächlich aus festen Oberflächen, die theoretisch mit deutlich weniger Aufwand dargestellt werden könnten.
Nvidias Adaptive Shells baut auf dieser Erkenntnis auf und berechnet nur bestimmte Teile einer Szene detailliert, während andere Teile mit weniger Detailaufwand gerendert werden. Konkret wechselt Adaptive Shells je nach Inhalt zwischen volumetrischer Darstellung (für komplexe Strukturen) und oberflächenbasierter Darstellung (für feste Oberflächen) und nutzt hardwarebeschleunigtes Raytracing, um die notwendigen Informationen zu sammeln.
Adaptive Shells läuft in 4K bei über 60 Bildern pro Sekunde
Nach Angaben der Forschenden ermöglicht die Methode ein deutlich schnelleres Rendern von Bildern als alternative Methoden wie Instant-NGP von Nvidia, und das bei deutlich besserer Bildqualität. In Beispielen zeigt Nvidia, dass Adaptive Shells teilweise doppelt so viele Bilder pro Sekunde rendert und je nach Komplexität zwischen 40 und 300 FPS in FullHD erreicht. Darüber hinaus können selbst komplexe Szenen in 4K-Auflösungen mit DLSS Bildwiederholraten von über 60 Bildern pro Sekunde erreichen.
Das Team zeigt auch, dass Adaptive Shells in der Lage ist, einzelne Objekte mit "unscharfen" Materialien wie Pelz oder Wolle, aber auch ganze 3D-Szenen wie einen Tisch in einem Garten mit einem hohen Detailgrad darzustellen. Die Methode konstruiert auch direkt explizite äußere Schalennetze, die namensgebenden "Adaptive Shells", die alle Regionen des 3D-Raums enthalten, die zum gerenderten Erscheinungsbild beitragen. Die extrahierten Darstellungen können somit für weitere Anwendungen wie Animationen oder physikalische Simulationen verwendet werden.
Adaptive Shells ist somit ein weiterer Schritt in Richtung eines Wandels in der Computergrafik, bei dem neuronale Rendering-Techniken eine immer größere Rolle spielen werden.
Mehr Informationen gibt es auf der Projektseite von Adaptive Shells. Wer mehr über neuronales Rendering und NeRFs erfahren möchte, kann sich unseren DEEP MINDS Podcast #8 mit dem beteiligten Nvidia-Forscher Thomas Müllern anhören.
