Facebook-Forscher stellen ein KI-gestütztes Renderverfahren vor, das tiefauflösende 3D-Grafik in hochauflösende hochrechnet. Damit könnte autarke VR-Brillen wie Oculus Quest in Zukunft schönere und detaillierte 3D-Umgebungen zeichnen.
Mit KI-Upscaling von Texturen wird seit längerem experimentiert: Auf diese Art renderte eine Nvidia-KI den Zelda-Klassiker Twilight Princess hübsch und Hobby-Entwickler schufen HD-Versionen von Spielen wie Morrowind und Resident Evil 2.
Laut Microsofts Playfab-Team, das Cloud-Lösungen für Studios entwickelt, funktioniert die automatisierte KI-Grafikverschönerung "beängstigend gut". Womöglich könne Microsoft in Zukunft Spielestudios mit einer entsprechenden Dienstleistung unterstützen, sagt der Playfab-Leiter Anfang des Jahres.
Starker Leistungsgewinn
Facebooks KI-Rendertechnik geht einen Schritt weiter und skaliert in Echtzeit ganze 3D-Umgebungen statt lediglich Texturen hoch. Hierfür wurde eine KI mit Bildern aus 100 Videos verschiedener 3D-Umgebung trainiert, die aus verschiedenen Blickwinkeln aufgenommen wurden.
Das dreischichtige neuronale Netzwerk berücksichtigt beim Hochrechnen Farben, Tiefeninformationen und Bewegung und rendert die 3D-Umgebung von 400 mal 225 Bildpunkten auf 1.600 mal 900 Bildpunkte hoch, wobei der Unterschied zum Originalmaterial kaum auffällt. Der Leistungsgewinn durch das KI-Upscaling im Vergleich zum klassischen Rendering in der hohen Auflösung übersteigt den Faktor 3.
Die KI rekonstruiert die Inhalte nur und erfindet keine neuen Details. Sie spart jedoch viel Rechenleistung, die von Entwicklern für zusätzliche Details und Effekte genutzt werden kann.
Noch nicht perfekt
Das Verfahren soll ähnlichen Techniken wie Epics Temporal Antialiasing Upscaling (TAAU) und Nvidias Deep-Learning Super Sampling (DLSS) in Sachen Rekonstruktionstreue überlegen sein. Facebooks KI-Upscaling bedarf außerdem keiner speziellen Hardware oder Treiber wie Nvidias KI-Renderverfahren und soll auf einfache Weise in 3D-Engines implementiert werden können.
Das KI-System ist jedoch längst nicht ausentwickelt und einsatzbereit: Wenn die KI auf ein Ausgangsmaterial trifft, auf das es nicht trainiert wurde, so nimmt die Rekonstruktionsqualität ab und Details gehen verloren. Außerdem ist das KI-Upscaling noch immer zu rechenintensiv. Dank weiterer Optimierungen und schnellerer Hardware soll die Performance jedoch signifikant verbessert werden können.
Wer sich einlesen, findet die Forschungsarbeit im Netz. Sie wird auf der Siggraph-Konferenz Mitte Juli im Detail vorgestellt.
Quelle: Facebook Resarch, Titelbild: Facebook