DeepMinds KI-Modell Genie 2 generiert interaktive 3D-Welten aus einzelnen Bildern
Mit Genie 2 stellt DeepMind ein KI-System vor, das aus einem einzigen Bild komplexe, interaktive 3D-Umgebungen erzeugen kann. Die virtuellen Welten könnten das Training von KI-Agenten voranbringen.
DeepMind hat mit Genie 2 ein neues "Foundation World Model" vorgestellt, das aus einem einzelnen Bild konsistente, virtuelle 3D-Umgebungen generieren kann. Nach Angaben des Unternehmens können diese Welten bis zu einer Minute lang simuliert werden.
Das System wurde mit einem umfangreichen Videodatensatz trainiert und generiert die Welten in 720p-Auflösung. Benutzer können sich per Tastatur und Maus durch die Umgebungen bewegen, die sowohl in Ego-Perspektive als auch in Third-Person-Ansicht dargestellt werden können.
Laut den DeepMind-Forschern beherrscht das Modell verschiedene physikalische Simulationen wie Schwerkraft, Kollisionen und Wassereffekte. Auch komplexe Beleuchtung, Reflexionen und Raucheffekte werden realistisch dargestellt.
Die verschiedenen Beispiele im folgenden Video demonstrieren Fähigkeiten wie die Modellierung von Physik (Gravitation, Kollisionen), die Generierung von Perspektiven aus der ersten und dritten Person und die Interaktion mit der Umgebung. Sie wurden mit einem undistillierten Basismodell in der höchstmöglichen Qualität generiert. Die destillierte Version ermöglicht Echtzeit-Interaktion, allerdings mit reduzierter Qualität.
Video: Google Deepmind
Genie 2 "erinnert" sich an nicht sichtbare Bereiche
Eine besondere Stärke von Genie 2 ist nach Angaben der Forscher die Fähigkeit, sich Teile der generierten Welt zu "merken", die aktuell nicht im Blickfeld sind. Wenn Nutzer zu diesen Bereichen zurückkehren, werden sie konsistent wiederhergestellt - eine Funktion, die bei bisherigen 3D-Generatoren die Schwachstelle war.
DeepMind sieht eine mögliche Anwendung von Genie 2 im schnellen Prototyping von Spielumgebungen: Aus Konzeptzeichnungen oder realen Fotos können direkt spielbare Welten erstellt werden.
Interessant ist zudem die Integration mit DeepMinds SIMA-Agent, einem im März vorgestellten KI-System, das Handlungen in digitalen Welten durch natürlichsprachliche Anweisungen ausführen kann. In einer Demonstration navigiert SIMA durch eine von Genie 2 generierte Umgebung und folgt dabei Befehlen wie "Öffne die blaue Tür".
Die Kombination von Sima, das Umgebungen erkundet und in ihnen lernt, und Genie 2, das unendlich viele Trainingsumgebungen erzeugen kann, könnte zur Entwicklung handlungsfähiger KI-Agenten beitragen, die komplexere Handlungen in digitalen Umgebungen oder in der realen Welt ausführen können.
"Als wir vor zwei Jahren mit Genie 1 begannen, stellten wir uns vor, dass ein Foundation World Model eines Tages ein endloses Curriculum für das Training von verkörperter KI generieren könnte. Heute haben wir einen großen Schritt in Richtung dieser Zukunft gemacht", schreibt DeepMind-Forscher Tim Rocktäschel auf Bluesky.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar“‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnierenKI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.