Runway stellt erstes "General World Model" vor und erweitert Gen-4.5 um neue Funktionen

Runway verbessert Gen-4.5 und hat GWM-1 vorgestellt, das erste sogenannte "General World Model" des Unternehmens. Gen-4.5 unterstützt nun native Audioerzeugung und Audiobearbeitung sowie Multi-Shot-Editing, bei dem Änderungen in einer Szene auf das gesamte Video übertragen werden können.

Das neue GWM-1 baut eine interne Darstellung einer Umgebung auf und nutzt diese, um künftige Ereignisse in Echtzeit zu simulieren. Es basiert auf Gen-4.5 und erzeugt Videos Bild für Bild, die sich interaktiv steuern lassen – etwa durch Kamerabewegungen, Roboterbefehle oder Audio.

Das Weltmodell gibt es in drei Varianten: GWM Worlds für erkundbare Umgebungen, GWM Avatars für sprechende Charaktere mit realistischer Mimik und Lippensynchronisation, sowie GWM Robotics zur Erzeugung synthetischer Trainingsdaten für Roboter. Zukünftig sollen die Bereiche in einem Modell vereint werdne.

Auch andere Labore wie Google Deepmind oder das neue Start-up des KI-Forschers Yann LeCun möchten solche Weltmodelle als Weiterentwicklung und Erweiterung herkömmlicher Sprachmodelle ohne Weltverständnis entwickeln.