Forschende haben ein KI-System entwickelt, das das klassische Computerspiel DOOM simulieren und in Echtzeit wiedergeben kann. GameNGen eröffnet neue Möglichkeiten für die KI-gestützte Spieleentwicklung.
Ein Forschungsteam von Google Research, Google Deepmind und der Tel Aviv University hat mit GameNGen erstmals ein KI-System geschaffen, das ein komplexes Computerspiel vollständig simulieren und in Echtzeit wiedergeben kann. Das System ist in der Lage, das ikonische Spiel DOOM mit mehr als 20 Bildern pro Sekunde auf einem einzelnen von Googles TPU-Chip zu simulieren.
Die Bildqualität der Simulation erreicht dabei einen PSNR-Wert (Peak Signal-to-Noise Ratio) von 29,4, was laut dem Team mit verlustbehafteter JPEG-Kompression vergleichbar ist. In Tests konnten menschliche Bewerter kurze Ausschnitte der Simulation nur geringfügig besser als der Zufall von echten Spielszenen unterscheiden.
GameNGen wurde in zwei Phasen trainiert: Zunächst lernte ein KI-Agent, das Spiel zu spielen, wobei die Trainingssitzungen aufgezeichnet wurden. Anschließend wurde ein Diffusionsmodell darauf trainiert, das nächste Bild basierend auf der Sequenz vorheriger Bilder und Aktionen zu erzeugen.
Das resultierende System ist in der Lage, komplexe "Spielzustandsaktualisierungen" durchzuführen, also das Zählen von Gesundheit und Munition, das Aufheben von Waffen, das Angreifen von Gegnern, das Beschädigen von Objekten und das Öffnen von Türen. Zudem kann es den Spielzustand über längere Zeit aufrechterhalten, das Team zeigt Clips von etwa 2,5 Minuten.
Video: Valevski et al.
Es gibt jedoch Einschränkungen: So ist das "Gedächtnis" des Systems auf ca. 3 Sekunden begrenzt. Das bedeutet, dass Ereignisse, die länger als 3 Sekunden zurückliegen, vom System nicht mehr berücksichtigt werden können. Dies schränkt die Fähigkeit des Systems ein, langfristige Zusammenhänge im Spiel zu erfassen und darauf zu reagieren. Es ist daher überraschend, dass das Modell überhaupt ein so konsistentes Spielerlebnis ermöglicht.
GameNGen zeigt ein neues Paradigma für Spiele-Engines
GameNGen baut auf früheren Arbeiten zur Simulation interaktiver Videospiele mit neuronalen Modellen auf. Im Vergleich zu bisherigen Ansätzen wie GameGAN oder GAN Theft Auto erzielt es deutliche Verbesserungen hinsichtlich der Komplexität der simulierten Spiele, der Simulationsgeschwindigkeit, der Stabilität über längere Zeiträume und der visuellen Qualität.
Die Entwickler sehen in GameNGen einen wichtigen Schritt hin zu einem neuen Paradigma für Spiele-Engines, bei dem Spiele automatisch durch neuronale Modelle generiert werden könnten. Allerdings bleiben noch offene Fragen, etwa wie solche neuronalen Spiele-Engines trainiert und wie Spiele effektiv erstellt werden könnten, einschließlich der optimalen Nutzung menschlicher Eingaben.
Mehr Beispiele und den Code gibt es auf GitHub.
