Inhalt
newsletter Newsletter
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Facebook-Forscher stellen ein KI-gestütztes Renderverfahren vor, das tiefauflösende 3D-Grafik in hochauflösende hochrechnet. Damit könnte autarke VR-Brillen wie Oculus Quest in Zukunft schönere und detaillierte 3D-Umgebungen zeichnen.

Mit KI-Upscaling von Texturen wird seit längerem experimentiert: Auf diese Art renderte eine Nvidia-KI den Zelda-Klassiker Twilight Princess hübsch und Hobby-Entwickler schufen HD-Versionen von Spielen wie Morrowind und Resident Evil 2.

Laut Microsofts Playfab-Team, das Cloud-Lösungen für Studios entwickelt, funktioniert die automatisierte KI-Grafikverschönerung "beängstigend gut". Womöglich könne Microsoft in Zukunft Spielestudios mit einer entsprechenden Dienstleistung unterstützen, sagt der Playfab-Leiter Anfang des Jahres.

Starker Leistungsgewinn

Facebooks KI-Rendertechnik geht einen Schritt weiter und skaliert in Echtzeit ganze 3D-Umgebungen statt lediglich Texturen hoch. Hierfür wurde eine KI mit Bildern aus 100 Videos verschiedener 3D-Umgebung trainiert, die aus verschiedenen Blickwinkeln aufgenommen wurden.

Anzeige
Anzeige

Das dreischichtige neuronale Netzwerk berücksichtigt beim Hochrechnen Farben, Tiefeninformationen und Bewegung und rendert die 3D-Umgebung von 400 mal 225 Bildpunkten auf 1.600 mal 900 Bildpunkte hoch, wobei der Unterschied zum Originalmaterial kaum auffällt. Der Leistungsgewinn durch das KI-Upscaling im Vergleich zum klassischen Rendering in der hohen Auflösung übersteigt den Faktor 3.

Die KI rekonstruiert die Inhalte nur und erfindet keine neuen Details. Sie spart jedoch viel Rechenleistung, die von Entwicklern für zusätzliche Details und Effekte genutzt werden kann.

Facebook KI-Upsampling Beispiel 3
Links die Szene in tiefer Auflösung, rechts die gleiche Szene nach dem KI-Upscaling. | Bild: Facebook

Noch nicht perfekt

Das Verfahren soll ähnlichen Techniken wie Epics Temporal Antialiasing Upscaling (TAAU) und Nvidias Deep-Learning Super Sampling (DLSS) in Sachen Rekonstruktionstreue überlegen sein. Facebooks KI-Upscaling bedarf außerdem keiner speziellen Hardware oder Treiber wie Nvidias KI-Renderverfahren und soll auf einfache Weise in 3D-Engines implementiert werden können.

Das KI-System ist jedoch längst nicht ausentwickelt und einsatzbereit: Wenn die KI auf ein Ausgangsmaterial trifft, auf das es nicht trainiert wurde, so nimmt die Rekonstruktionsqualität ab und Details gehen verloren. Außerdem ist das KI-Upscaling noch immer zu rechenintensiv. Dank weiterer Optimierungen und schnellerer Hardware soll die Performance jedoch signifikant verbessert werden können.

Wer sich einlesen, findet die Forschungsarbeit im Netz. Sie wird auf der Siggraph-Konferenz Mitte Juli im Detail vorgestellt.

Empfehlung

Quelle: Facebook Resarch, Titelbild: Facebook

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Weiterlesen über Facebooks XR-Forschung:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Tomislav schreibt über Künstliche Intelligenz im Kontext der XR, Kunst und virtueller Wesen: Wie trägt KI zur Entwicklung von VR und AR bei, wie rekonstruiert und erweitert sie das menschliche Kunstschaffen und welche neue Formen des Geschichtenerzählens und der NPC-Interaktion ermöglicht sie?
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!