Deepminds "Force Prompting" bringt physikalische Kräfte in KI-generierte Videos

Trainiert mit Flaggen, Bällen und künstlichem Wind

Die Trainingsdaten wurden vollständig synthetisch erzeugt. Für globale Kräfte entstanden 15.000 Videos mit wehenden Flaggen unter variierenden Windbedingungen. Für lokale Kräfte wurden 12.000 Videos mit rollenden Bällen und 11.000 Videos mit durch Stöße bewegten Blumen erstellt. In den automatisch generierten Textbeschreibungen wurden gezielt Begriffe wie Wind oder Blasen verwendet, um die physikalischen Zusammenhänge im Modell zu verankern.

Hier sind drei Flaggen-Szenen bei verschiedenen Windstärken zu sehen. Die Videos sind mit KI generiert. | Video: Gillman et al.

Die Szenen wurden variiert, wobei Farben, Lichtquellen, Hintergründe, Kamerawinkel, Windrichtung und Stoßwinkel zufällig kombiniert wurden. Anschließend wurden die Kräfte von den simulierten 3D-Szenen in zweidimensionale Bildkoordinaten projiziert.

Das Modell verarbeitet ein Eingabetripel aus Text, Startbild und physikalischem Steuerimpuls. Für globale Kräfte wird ein flächendeckendes Vektorfeld erzeugt. Lokale Kräfte werden durch ein sich bewegendes Signal dargestellt, das Richtung, Ort und Stärke der Kraft kodiert.

Intuitive Physik mit wenigen Beispielen

Trotz der begrenzten Datenmenge zeigt das Modell eine bemerkenswerte Generalisierungsfähigkeit. Es überträgt die gelernte Bewegung auf neue Objekte, Materialien und Szenarien. Auch grundlegende physikalische Prinzipien wie das Masseverhalten werden korrekt umgesetzt. So bewegen sich leichtere Objekte bei gleicher Kraft weiter als schwerere.

In Vergleichsstudien bevorzugten Testpersonen die Ergebnisse von Force Prompting gegenüber textbasierten oder bewegungspfadgesteuerten Baselines. Auch im direkten Vergleich mit PhysDreamer, einem Modell mit echter Physiksimulation, schnitt Force Prompting bei Krafttreue und Bewegungseindruck besser ab. PhysDreamer lieferte lediglich eine etwas höhere Bildqualität.

Ablationsstudien zeigen, dass die Vielfalt der Trainingsdaten entscheidend für die Generalisierungsfähigkeit ist. Fehlen Hintergrundvarianten oder zusätzliche Objekte, könne das Modell Kräfte schlechter lokalisieren und Bewegungen nicht zuverlässig trennen. Auch der Verzicht auf kraftbezogene Begriffe in den Texten führte zu deutlich schlechteren Ergebnissen.

Weitere Tests zeigten, dass das Modell gelernt hat, Objekte als Ganzes zu erkennen. Ein Stoß an einer beliebigen Stelle eines Objekts führt dazu, dass es sich komplett bewegte. Auch stilistische Eigenschaften des Ausgangsbilds wie Tiefenschärfe oder Lichtverhältnisse blieben während der Bewegung erhalten.

Realistisch, aber kein Ersatz für echte Simulation

Force Prompting zeigt zwar interessante Ergebnisse, ist laut den Forschenden aber kein Ersatz für präzise physikalische Simulation. In komplexen oder ungewöhnlichen Szenarien komme es zu Fehlern. Beispielsweise bewegte sich Rauch bei Wind nicht oder menschliche Arme verhielten sich wie Stoff. Die Methode liefere jedoch eine effiziente Möglichkeit, physikalisch plausible Interaktionen in KI-generierten Videos zu erzeugen.

Erst kürzlich betonte Deepmind-CEO Demis Hassabis, dass moderne KI-Videomodelle wie Veo 3 zunehmend physikalische Gesetzmäßigkeiten erfassen – ein zentraler Schritt auf dem Weg zur allgemeinen künstlichen Intelligenz.

Laut Hassabis gehen solche Modelle über die bloße Bild- oder Textverarbeitung hinaus, da sie die zugrunde liegende physische Struktur der Welt erfassen und intuitive Physik auf bemerkenswerte Weise modellieren. Für Hassabis deutet dies auf ein tieferes Verständnis der Realität hin. Dieses Realitätsverständnis soll wiederum durch Simulationen ermöglichen, KI-Systeme zu trainieren, die aus Erfahrungen statt nur aus Daten lernen.