Forschende von Nvidia zeigen eine neue KI-Methode, die den effizienten Einsatz Künstlicher Intelligenz für Computergrafik ermöglichen soll.
Künstliche Intelligenz findet ihren Weg in die Computergrafik: von KI-Upscalern wie Nvidias DLSS über Neural Rendering via GANs oder 3D-Repräsentationen in NeRFs bis hin zu Ray-Tracing-Helfern wie dem Neural Radiance Caching (NRC). Einige dieser Ansätze zeigte Nvidia im August 2021 auf der Tech-Konferenz SIGGRAPH 2021.
So kombiniert etwa das NRC die in RTX-Grafikkarten verbaute KI- und Raytracing-Hardware, um ein KI-gestütztes Global Illumination zu schaffen, das mit allen Arten von Materialien und Texturen funktioniert. Dafür lernt NRC während des Rendervorgangs einer Szene, die Wege und Abstrahleffekte von Path-Traced Lichtstrahlen in Echtzeit vorherzusagen. Das verbessert die Rendering-Effizienz in Kombination mit modernen Beleuchtungsalgorithmen bis zum Faktor 100.
Die ebenfalls gezeigten Neural Reflectance Field Textures (NeRF-Tex) sollen dagegen die Modellierung komplexer Materialien wie Fell oder Stoff vereinfachen. NeRF-Tex stellt diese Materialien dar und kann als Textur über ein klassisches Mesh gelegt werden.
KI-Ansätze waren bisher nicht schnell genug
Mit künstlichen neuronalen Netzen lassen sich zahlreiche weitere Anwendungen in der Computergrafik realisieren. Doch in vielen Fällen sind die KI-Lösungen noch langsamer als ihre traditionellen Render-Alternativen. Eine neue Forschungsarbeit von Nvidia stellt nun eine neue Methode vor, die das ändern könnte.
Instant-NGP kann Gigapixelbilder, SDFs, NeRFs und Neural Volumes in wenigen Sekunden lernen. | Video: Nvidia
Die Forscher-Gruppe zeigt mit "Instant Neural Graphics Primitives" (Instant-NGP) ein Framework, mit dem ein neuronales Netz innerhalb von Sekunden Repräsentationen von Gigapixel-Bildern, 3D-Objekten und NeRFs lernen kann.
Auch das im August vorgestellte Neural Radiance Caching profitiert von der neuen Methode und erreicht eine deutlich bessere Bildqualität bei nur geringen Leistungseinbußen.
Instant-NGP beschleunigt das NeRF-Training um ein Vielfaches. | Video: Nvidia
Das Echtwelt-Modell wurde in unter fünf Minuten aus 34 Fotos trainiert. | Video: Nvidia
Die Forscher setzen dafür auf eine Kombination aus gelernter Hashtabelle von Voxel-Eckpunkten und einem neuronalen Netz. Das erlaubt eine höhere Qualität bei bis zu achtfach schnellerem Training im Vergleich zu alternativen Methoden.
Video: Nvidia
Instant-NGP soll den Weg zum breiten Einsatz von KI-Technologie für Computergrafik ebnen
Viele Probleme in der Computergrafik benötigten bisher spezifische Datenstrukturen, um das jeweilige Problem zu lösen, so das Team. Der vorgestellte Ansatz biete eine praktische, lernbasierte Alternative, die sich automatisch auf relevante Details konzentriere - unabhängig von der Aufgabe.
Weil die Methode so effizient sei, könne sie außerdem im Online-Training und der Inferenz eingesetzt werden und erreiche dabei die Leistung herkömmlicher 3D-Rekonstruktionstechniken.
"Wir haben gezeigt, dass in Sekunden gemessene Trainingszeiten mit einer einzigen GPU für viele Grafikanwendungen in Reichweite sind und so neuronale Ansätze auch dort eingesetzt werden können, wo sie bisher vielleicht nicht in Betracht kamen", schließen die Forschenden.
Weitere Informationen zu Instant-NGP gibt es auf der Projektseite. Der Code ist auf GitHub verfügbar.
Mehr über Künstliche Intelligenz für Computergrafik gibt’s in unserem DEEP MINDS KI-Podcast zum Thema.
