KI-Forscher von Intel zeigen am Beispiel von GTA 5, wie Künstliche Intelligenz ohne einen massiven Zuwachs an Rechenleistung Fotorealismus in Videospielen ermöglichen könnte.
Vom einfachen Pacman-Pixel bis zu komplex ausgeleuchteten, hochaufgelösten 3D-Cyber-Welten: Computergrafik hat sich in den letzten Dekaden massiv verbessert. Doch vom Fotorealismus sind digitale 3D-Welten noch weit entfernt.
Kann Fotorealismus linear erreicht werden, also durch immer noch stärkere Hardware und effizientere Software? Möglicherweise - aber vielleicht gibt es eine Abkürzung für diesen langwierigen, teuren und speziell für Entwickler in jeder Hinsicht aufwendigen Weg: neue Rendermethoden mit KI.
GTA V in fotorealistisch: nur eine Frage des Stils?
Forscher von Intels Innovationseinheit Intel Labs experimentieren mit einer neuen KI-Rendermethode, die einer bestehenden 3D-Welt Fotorealismus nachträglich hinzufügt, indem sie Pixel so neu anordnet und einfärbt, dass eine fotorealistische Optik entsteht.
Anders formuliert: Der fotorealistische Stil wird nachträglich auf die Computerwelt gelegt, sodass der technisch anspruchsvolle Fotorealismus nicht von Grund auf in der 3D-Engine erzeugt werden muss. Diese Renderfilterlogik umgeht den aufwendigen Modellierungsprozess, da die Struktur der originalen 3D-Szene vollständig erhalten bleibt.
Die Render-KI erneuert beispielsweise die Straßenzüge mit realistischeren Texturen, fügt bei den Autos einen authentischen Glanzeffekt hinzu und wertet die Umgebungsgrafik mit mehr Vegetation auf.
Das generierende künstliche neuronale Netz (CNN) trainierten die Forscher mit verschiedenen Datensätzen, die Aufnahmen realer Straßenzüge aus der Perspektive einer Autokamera enthalten. Die Auswahl des Trainingsdatensatzes beeinflusst die grafische Aufbereitung durch das neuronale Netz.
Der Nachteil dieser Methode, jedenfalls so, wie sie bislang versucht wurde, ist, dass die generierten 3D-Szenen, gerade weil sie von der eigentlichen Modellierung entkoppelt sind, für Entwickler schwer kontrollierbar sind und häufig Bildfehler enthalten.
KI-Generator bedient sich an 3D-Daten der Spiele-Engine
In ihrem Experiment verschmelzen die Intel-Forscher Stephan R. Richter, Hassan Abu Alhaija und Vladlen Kolten das klassische Rendering und die generierende KI stärker miteinander, indem sie dem generierenden neuronalen Netz geometrische Daten ("G-Buffer") der 3D-Engine zur Verfügung stellen, wie beispielsweise die Distanzen zwischen Objekten und Informationen zur Ausleuchtung einer Szene.
Diese Zusammenführung und einige Verbesserungen am KI-Modell sollen laut der Forscher dafür sorgen, dass ihr Ansatz weniger Bildfehler generiert als vergleichbare frühere Versuche. Ihre Ergebnisse zeigen sie in Vergleichsbildern und Videos und auf der Projektwebseite.
Die Intel-Forscher sind von ihrer Arbeit überzeugt: "Unser Ansatz verbessert den Realismus von gerenderten Bildern erheblich", heißt es im Fazit des Forschungspapiers.
Speziell bei der Generierung von realistischen Straßentexturen, Autos und Vegetation arbeite das KI-Rendering hervorragend. Objekte und Szenen, die in der Realität, und damit im Trainingsdatensatz weniger häufig vorkommen, wie beispielsweise Fußgänger aus der Nähe, würden hingegen weniger überzeugend dargestellt.
Die derzeit unoptimierte KI-Implementierung in GTA V benötigt laut der Forscher auf einer schnellen Nvidia RTX 3090 Grafikkarte circa eine halbe Sekunde Rechenzeit. Sie gehen davon aus, dass das KI-Rendering tiefer und damit effizienter in 3D-Engines integriert werden und so realistischere Grafik ermöglichen kann.
Ähnlich wie beim revolutionären KI-Upscaling zeigt die Arbeit der Intel Forscher, dass neue Arten von KI-Software 3D-Welten und Computergrafik in den nächsten Jahren schneller voranbringen werden, als es immer leistungsfähigerer Hardware im Alleingang gelingen könnte.
Mehr über Künstliche Intelligenz für Computergrafik gibt’s in unserem DEEP MINDS KI-Podcast zum Thema.
Quellen: Intel, Via: Gizmodo
