Auf der wissenschaftlichen Tech-Konferenz SIGGRAPH 2021 gab Nvidia einen Einblick in neue KI-Technik für Computergrafik. KI soll zukünftig nahezu fotorealistische Echtzeit-Beleuchtung und Texturen generieren.
Neben zahlreichen bekannten KI-Projekten wie StyleGAN, GauGAN oder GANCraft zeigte Nvidia auf der Siggraph 2021 zwei besonders beeindruckende Forschungsergebnisse: Real-time Neural Radiance Caching für Path Tracing reduziert die Hardwareanforderungen an dynamische globale Beleuchtung (Global Illumination) durch Machine Learning. NeRF-Tex ermöglicht realistische Texturen etwa von Fell mittels sogenanter Neural Radiance Fields.
Neural Radiance Caching (NRC) kombiniert die in RTX-Grafikkarten verbaute Hardware zur KI-Beschleunigung (Tensor-Kerne) mit der Raytracing-Hardware (RT-Kerne), um ein KI-gestütztes Beleuchtungssystem für Global Illumination zu schaffen, das mit allen Arten von Materialien und Texturen funktioniert. Dafür lernt NRC, während des Rendervorgangs einer Szene die Wege und Abstrahleffekte von Path-Traced Lichtstrahlen in Echtzeit vorherzusagen.
So kann NRC schon nach der ersten Reflexion eines Lichtstrahls von einem Objekt rudimentäre Reflexionen oder Farbgebungen vorhersagen. Auf einer Nvidia RTX 3090 Grafikkarte kann NRC über eine Milliarde globale Beleuchtungsabfragen pro Sekunde liefern.
In der Praxis produziert NRC so ein Bild, das den Stil und die Details eines vollständig per Raytracing gerenderten Bildes erhält und in Kombination mit Nvidias modernen Beleuchtungsalgorithmus ReSTIR die Rendering-Effizienz von Global Illumination laut Nvidia bis um den Faktor 100 verbessert.
NeRF-Tex zeigt neuronale Plüsch-Ente
Die zweite beeindruckende KI-basierte Grafiktechnologie ist in Zusammenarbeit mit Forschern der ETH Zürich und Disney Research entstanden und trägt den Namen Neural Reflectance Field Textures (NeRF-Tex). Die Technologie ist inspiriert von Fortschritten in der Darstellung realer und virtueller Szenen mit neuronalen Netzen. Sie soll die klassische grafische Modellierung komplexer Materialien wie Fell, Gras oder Stoff mit KI-Technologie vereinfachen.
NeRF-Tex nutzt ein neuronales Netzwerk, um kleine Stücke solcher unscharfer Geometrie darzustellen. Ein Künstler kann dann ein klassisches Mesh erstellen und die NeRF-Textur über dessen Oberfläche legen. Dadurch entsteht ein volumetrische Schicht mit der gewünschte Textur. Ein 3D-Modell einer Ente erhält so etwa ein flauschiges Fell.
Anders als klassische Texturen enthält eine NeRF-Textur eine Klasse mit mehreren volumetrischen Erscheinungen. Eine einzelne NeRF-Textur kann so etwa helle, dunkle, kurze oder lange Fasern oder Fell darstellen. Das neuronale Netz ist außerdem darauf trainiert, Aliasing-Artefakte zu verhindern, die bei klassischen Rendering-Methoden auftreten und dann rechenintensiv geglättet werden müssen für ein ruhiges Bild.
Der Einsatz solcher KI-basierter Methoden für die Materialmodellierung könnte in Zukunft ähnlich fotorealistische Ergebnisse für digitale Produktionen oder Videospiele ermöglichen, wie es bereits GANs etwa bei der Generierung von Porträtfotos gelingt.
Mehr über Künstliche Intelligenz für Computergrafik gibt’s in unserem DEEP MINDS KI-Podcast zum Thema.
Via: NRC Paper, NeRFTex Paper
