Mit Genie 2 stellt DeepMind ein KI-System vor, das aus einem einzigen Bild komplexe, interaktive 3D-Umgebungen erzeugen kann. Die virtuellen Welten könnten das Training von KI-Agenten voranbringen.
DeepMind hat mit Genie 2 ein neues "Foundation World Model" vorgestellt, das aus einem einzelnen Bild konsistente, virtuelle 3D-Umgebungen generieren kann. Nach Angaben des Unternehmens können diese Welten bis zu einer Minute lang simuliert werden.
Das System wurde mit einem umfangreichen Videodatensatz trainiert und generiert die Welten in 720p-Auflösung. Benutzer können sich per Tastatur und Maus durch die Umgebungen bewegen, die sowohl in Ego-Perspektive als auch in Third-Person-Ansicht dargestellt werden können.
Laut den DeepMind-Forschern beherrscht das Modell verschiedene physikalische Simulationen wie Schwerkraft, Kollisionen und Wassereffekte. Auch komplexe Beleuchtung, Reflexionen und Raucheffekte werden realistisch dargestellt.
Die verschiedenen Beispiele im folgenden Video demonstrieren Fähigkeiten wie die Modellierung von Physik (Gravitation, Kollisionen), die Generierung von Perspektiven aus der ersten und dritten Person und die Interaktion mit der Umgebung. Sie wurden mit einem undistillierten Basismodell in der höchstmöglichen Qualität generiert. Die destillierte Version ermöglicht Echtzeit-Interaktion, allerdings mit reduzierter Qualität.
Video: Google Deepmind
Genie 2 "erinnert" sich an nicht sichtbare Bereiche
Eine besondere Stärke von Genie 2 ist nach Angaben der Forscher die Fähigkeit, sich Teile der generierten Welt zu "merken", die aktuell nicht im Blickfeld sind. Wenn Nutzer zu diesen Bereichen zurückkehren, werden sie konsistent wiederhergestellt - eine Funktion, die bei bisherigen 3D-Generatoren die Schwachstelle war.
DeepMind sieht eine mögliche Anwendung von Genie 2 im schnellen Prototyping von Spielumgebungen: Aus Konzeptzeichnungen oder realen Fotos können direkt spielbare Welten erstellt werden.
Interessant ist zudem die Integration mit DeepMinds SIMA-Agent, einem im März vorgestellten KI-System, das Handlungen in digitalen Welten durch natürlichsprachliche Anweisungen ausführen kann. In einer Demonstration navigiert SIMA durch eine von Genie 2 generierte Umgebung und folgt dabei Befehlen wie "Öffne die blaue Tür".
Die Kombination von Sima, das Umgebungen erkundet und in ihnen lernt, und Genie 2, das unendlich viele Trainingsumgebungen erzeugen kann, könnte zur Entwicklung handlungsfähiger KI-Agenten beitragen, die komplexere Handlungen in digitalen Umgebungen oder in der realen Welt ausführen können.
"Als wir vor zwei Jahren mit Genie 1 begannen, stellten wir uns vor, dass ein Foundation World Model eines Tages ein endloses Curriculum für das Training von verkörperter KI generieren könnte. Heute haben wir einen großen Schritt in Richtung dieser Zukunft gemacht", schreibt DeepMind-Forscher Tim Rocktäschel auf Bluesky.
