Microsoft Research und Xbox Game Studios präsentieren ein KI-Modell, das Gameplay generieren und alte Spiele auf neue Plattformen bringen soll.
Das als Muse bezeichnete "World and Human Action Model (WHAM)" wurde laut Paper mit 500.000 anonymisierten Gaming-Sessions des Multiplayer-Kampfspiels Bleeding Edge trainiert und kann nach Angaben von Microsoft die 3D-Spielwelt, Physik und Spielerinteraktionen detailliert verstehen und reproduzieren.
Muse versteht laut Microsoft die dreidimensionale Spielwelt samt der Physik und der Reaktionen auf Spielereingaben. Das System sei in der Lage, konsistentes und vielfältiges Gameplay durch KI zu erzeugen. Bei Verwendung von fünf Referenzbildern konnte das System diese Änderungen in 85 Prozent der Fälle erfolgreich übernehmen.
Video: Microsoft
Laut den Forschern kann das System so konsistente Spielsequenzen von bis zu zwei Minuten Länge generieren, die physikalisch korrekt sind - Charaktere laufen etwa Treppen hoch und durchdringen keine Wände. Bei einer Auflösung von 300 x 180 Pixeln kodiert WHAM jedes Bild in 540 Tokens.
Die Forscher konnten zudem zeigen, dass die Qualität der generierten Sequenzen mit der Modellgröße und Rechenleistung zunimmt. Besonders die höhere Auflösung des größten 1,6-Milliarden-Parameter-Modells ermöglicht eine deutlich bessere Rekonstruktion der ursprünglichen Spielszenen. Eine kleinere Version des Modells arbeitet mit 128 x 128 Pixel Auflösung und 256 Tokens pro Bild. Die fürs Gaming wichtige Latenz wird im Paper nicht thematisiert.
Video: Microsoft Research
Alte Spiele auf neuen Plattformen
Ein Ziel des Projekts sei es, ältere Spiele aus dem Xbox-Katalog für moderne Geräte zugänglich zu machen. Microsoft sieht darin eine Möglichkeit, klassische Spiele zu bewahren und einem breiteren Publikum zugänglich zu machen. Das Unternehmen arbeitet zudem an einer Echtzeit-Variante von Muse, das mit weiteren hauseigenen Spielen trainiert wird. Erste interaktive KI-Spielerfahrungen sollen in Kürze über Copilot Labs verfügbar sein.
Um anderen Forschern und Entwicklern Zugang zu der Technologie zu ermöglichen, stellt Microsoft das Muse-Modell, einschließlich der Modellgewichte, Beispieldaten und einer interaktiven Schnittstelle auf der Azure AI Foundry und Hugging Face zur Verfügung. Die Forscher betonen jedoch, dass sich die Technologie noch in einem frühen Stadium befindet.
Es gibt ähnliche Versuche im Bereich der KI-gestützten Spieleentwicklung: So stellte Stability AI mit SPAR3D eine Technik zur Generierung hochwertiger 3D-Objektmodelle fast in Echtzeit vor, und das Modell GameGen-O kann Simulationen für Open-World-Spiele erzeugen. Auch Google Deepmind stellt mit Genie 2 ein "Foundation World Model" vor, das aus einem einzelnen Bild konsistente, virtuelle 3D-Umgebungen mit bis zu einer Minute Länge generieren kann, und mit GameNGen einen Spiele-Generator.
Die Spieleindustrie könnte besonders stark von generativer KI profitieren, da sie verschiedene Technologien wie Code, Grafik, Text und 3D-Assets vereint, die alle mit generativer KI unterstützt werden können.
