Runway zeigt Echtzeit-Videogenerierung: Vom Prompt direkt zum laufenden Video

Erstmals thematisiert hatte das Unternehmen diesen Ansatz im März mit Runway Characters: Es basiert auf GWM-1, dem ersten "General World Model" des Unternehmens, das Runway im Dezember 2025 vorgestellt hat. Das Modell baut wiederum auf Gen-4.5 auf, erzeugt Videos Bild für Bild und lässt sich über Kamerabewegungen, Roboterbefehle oder Audio steuern. Erst vor wenigen Wochen zeigte Runway mit Solaris ein System, das auf Basis von Gen-4.5 Benutzeroberflächen Frame für Frame erzeugt und auf Klicks oder Sprache reagiert.

Echtzeit soll Arbeitsweise und GPU-Kosten verändern

Runway argumentiert, dass Echtzeitgenerierung die Lücke zwischen Idee und Umsetzung schließe. Bei sofortigem Feedback verschiebe sich der Großteil der Zeit vom passiven Warten zum aktiven Steuern.

Weiterer Vorteil seien niedrigere Kosten. Laufen Modelle schneller, belegten sie weniger GPU-Zeit und würden kosteneffizienter. Laut Runway entscheiden die Kosten pro Output bei einer bestimmten Qualitätsstufe darüber, welche Anwendungen sich wirtschaftlich lohnen. Sofortige Generierung soll diese Schwelle verschieben und bisher unrentable Anwendungen möglich machen.

Kleine Bildfehler wachsen zu großen Verformungen

Ein Textmodell kann sich mitten im Satz korrigieren, ein Videomodell baut dagegen jedes Frame auf dem vorherigen auf. Ein kleiner Fehler summiert sich so über die Zeit zu großen Verformungen, erklärt Runway das zentrale Problem von LLM-basierten Ansätzen. Deshalb lässt Runway das Modell im Training seine eigenen Ausgaben verarbeiten statt nur fehlerfreie Vorgaben. So soll es lernen, eigene Abweichungen zu korrigieren, statt sie zu verstärken.

Das Start-up Decart setzte bei seinem Echtzeit-Modell MirageLSD auf eine ähnliche Idee und konfrontierte es im Training bewusst mit fehlerhaften oder verzerrten Bildern. Google Deepmind gibt für sein Weltmodell Genie 3 an, dass dessen interaktive Welten mit 24 Bildern pro Sekunde in 720p mehrere Minuten konsistent bleiben.

Laut Runway verlagert Echtzeitgenerierung den Rechenaufwand vom Training in die Nutzung. Das Modell muss jedes Frame schnell genug ausgeben, um mit der Wiedergabe Schritt zu halten, und das auf Hardware, die sich mehrere Sitzungen gleichzeitig teilen.

Weltmodelle sollen Roboter und Robotaxis trainieren

Runway hält interaktive Anwendungen langfristig für den größten Einsatzbereich generativer Medien. Bildung, Gaming und Robotik seien auf Video angewiesen, das so schnell reagiere wie der Mensch, der es betrachtet. Um zu bewerten, wie Roboter oder autonome Fahrzeuge in der Welt agieren, brauche es zudem Umgebungen, die in Echtzeit generieren und sofort auf Grenzfälle reagieren. Zuvor hatte Runway bereits GWM Robotics vorgestellt, eine Variante von GWM-1, die synthetische Trainingsdaten für Roboter erzeugt.

Einen ähnlichen Ansatz verfolgt Waymo mit dem Waymo World Model, das auf Genie 3 basiert und an den Straßenverkehr angepasst ist. Damit simuliert Waymo Situationen, die seine Flotte nie beobachtet hat, etwa eine Begegnung mit einem Elefanten, einen Tornado oder eine überflutete Wohngegend. Laut Waymo legt der Waymo Driver Milliarden Meilen in virtuellen Welten zurück, bevor er Szenarien auf öffentlichen Straßen begegnet.

Im März hatte Runway auf Nvidias Konferenz GTC außerdem ein gemeinsam mit Nvidia entwickeltes Echtzeit-Modell als Forschungsvorschau gezeigt. Es läuft auf der Vera-Rubin-Plattform und soll den ersten Frame in unter 100 Millisekunden liefern. Einen Zeitplan für die Verfügbarkeit nennt Runway nicht.