Mirage zeigt, wie Video-KI ein räumliches Langzeitgedächtnis bekommt

Mirage heißt ein neues Video-Weltmodell, das den rechenintensiven Umweg über pixelbasierte Speicher vermeidet. Das beschleunigt die Generierung und sorgt dafür, dass die räumliche Struktur einer Szene auch bei langen Kamerafahrten stabil bleibt. Entwickelt wurde es von einem Team mehrerer Universitäten gemeinsam mit Microsoft Research.

Video-Weltmodelle erzeugen aus einem Startbild und einer vorgegebenen Kameraführung plausible Bewegtbilder, etwa für Simulationen oder als World-Simulatoren. Ohne eine Art Gedächtnis driften selbst leistungsfähige Generatoren räumlich auseinander: Eine zuvor besuchte Ecke eines Raums sieht beim Zurückkehren plötzlich anders aus, Möbel verschieben sich, Texturen verändern sich.

Bisherige Systeme wie Voyager, WonderWorld oder Spatia versuchen das mit einer dreidimensionalen Punktwolke aufzufangen, die laufend mit Farbinformationen gefüttert wird. Bei jedem neuen Generierungsschritt muss diese Wolke gerendert und das Ergebnis erneut in den internen Featureraum des Modells übersetzt werden. Das Paper beschreibt diesen Umweg als doppeltes Nadelöhr, weil er rechenintensiv ist und auf dem Weg durch den Pixelraum Information verloren geht.

Gedächtnis ohne Umweg über Pixel

Mirage geht einen anderen Weg. Statt sichtbare Farbpunkte zu speichern, legt das System die internen Bildmerkmale ab, mit denen das Diffusionsmodell ohnehin arbeitet. Jedes dieser Merkmale bekommt eine Position im dreidimensionalen Raum und wird so zu einem Eintrag im räumlichen Gedächtnis.

Will das Modell eine neue Perspektive erzeugen, projiziert es diese Datenbank direkt auf die Zielkamera und reicht das Ergebnis ohne Umweg an den Generator weiter. Der Schritt, eine Punktwolke erst zu rendern und dann wieder zu kodieren, entfällt. Laut den Autoren schrumpft dadurch auch der Speicherbedarf erheblich, weil die abgelegten Daten in der kompakten internen Auflösung des Modells vorliegen und nicht in voller Bildgröße.

Initialisieren, lesen, aktualisieren

Mirage erzeugt Videos abschnittsweise. Aus dem Startbild wird das räumliche Gedächtnis initialisiert. Für jeden folgenden Abschnitt liest das System die passenden Informationen aus dem Speicher, generiert die neuen Frames und schreibt deren Inhalte anschließend zurück in den Cache. So wächst das Gedächtnis mit jedem Schritt mit.

Ein zusätzlicher Filter verhindert, dass sich das System selbst verwirrt. Bewegte Objekte und der Himmel werden vor dem Schreiben aussortiert, damit nur stabile Geometrie ins Langzeitgedächtnis gelangt. Als Basis dient das offene Alibaba-Videomodell Wan2.2, das die Forschenden nicht komplett neu trainieren. Stattdessen hängen sie ein kleines Zusatzmodul an, das dem Modell beibringt, den neuen Speicher zu nutzen, und passen es in einem zweiten Schritt mit der ressourcenschonenden Trainingsmethode durch LoRA-Adapter feiner an.

Bessere Konsistenz, geringere Kosten

Im Benchmark WorldScore liegt Mirage vor dem direkten Konkurrenten Spatia, der seinen Speicher noch in Farbpunkten hält, und deutlich vor allgemeinen Videogeneratoren wie Wan2.1 oder CogVideoX. Besonders gut schneidet das Modell dabei ab, wenn es darum geht, die räumliche Struktur einer Szene und das Aussehen von Oberflächen über viele Bilder hinweg gleichzuhaltenn.

Auf dem Datensatz RealEstate10K liegt Mirage zudem im sogenannten Closed-Loop-Test bei zwei von drei Kennzahlen vorn. Dabei kehrt die Kamera an ihren Ausgangspunkt zurück, was als besonders harter Stresstest gilt, weil sich jeder kleine Fehler über die Strecke aufsummiert.

Bei der Effizienz fällt der Unterschied am deutlichsten aus. Während farbbasierte Speicher mit wachsender Lauflänge deutlich schlechter skalieren und mehr Grafikspeicher benötigen, bleibt Mirages Aufwand pro Bild nach dem ersten Abschnitt nahezu konstant. Die Forschenden beziffern den Gesamtgewinn auf bis zu 10,57-fach schnellere Generierung und bis zu 55-fach geringeren Speicherbedarf gegenüber den farbbasierten Vergleichssystemen.

Eine wesentliche Einschränkung räumen die Forschenden selbst ein. Bewegte Akteure werden über Abschnittsgrenzen hinweg nicht erinnert, weil ihre Geometrie unzuverlässig ist und der Filter sie bewusst aussortiert. Szenen mit viel Bewegung profitieren entsprechend weniger vom räumlichen Gedächtnis als ruhige Innenräume. Die persistente Speicherung dynamischer Inhalte nennen die Autoren als naheliegende nächste Forschungsfrage.

Weitere Informationen zu Mirage stellen die Autoren auf der Projektseite bereit. Microsoft führt außerdem ein eigenes GitHub-Repository zu Latent Spatial Memory.

Video-Weltmodelle gehören derzeit zu den aktiven Forschungsfeldern rund um generative Videosysteme. Während Modelle wie Veo vor allem einzelne, in sich stimmige Clips erzeugen, zielen Weltmodelle darauf, eine Szene begehbar und über die Zeit konsistent zu halten. Google Deepmind zeigte das zuletzt mit Genie 3, das interaktive Umgebungen in Echtzeit generiert und mehrere Minuten lang zusammenhält; seit Anfang 2026 ist ein experimenteller Prototyp für zahlende Nutzer zugänglich. Auf der I/O positionierte Google zudem Gemini Omni als World Model und Nachfolger des reinen Text-zu-Video-Modells Veo.