Das KI-Unternehmen Runway hat mit Aleph ein "in-context video model" vorgestellt, das bestehende Aufnahmen per Text-Eingabe manipulieren kann, anstatt Videos von Grund auf neu zu generieren. Das soll Post-Production-Workflows erleichtern.
Eine der eindrucksvollsten Fähigkeiten ist etwa, neue Kamerawinkel zu einem bestehenden Video zu generieren. Mit Prompts wie "Generate a medium full shot of the subject" entstehen neue Einstellungen, die laut dem Unternehmen "endless coverage" ermöglichen.
Das System entfernt bei Bedarf unerwünschte Elemente wie Rauch oder Reflexionen und fügt neue Objekte wie Feuerwerk oder Menschenmengen hinzu. Runway zeigt auch, wie Aleph Umgebungen verändert, indem es Regen hinzufügt oder die Tageszeit ändert.
Aleph verändert außerdem Charaktere und passt das Alter an (z. B. mit dem Prompt "Make her as a child"), färbt Objekte um und erstellt Greenscreen-Aufnahmen. Das System überträgt sogar Bewegungen von exisierenden Videos auf statische Bilder.
Verfügbarkeit zunächst begrenzt
Das Tool richtet sich laut Runway an professionelle Filmemacher:innen, die echte Aufnahmen als Basis verwenden möchten. Aleph repräsentiert einen Trend zu umfassenden KI-Plattformen, die mehrere Aufgaben in einem System vereinen, statt spezialisierte Modelle für einzelne Funktionen anzubieten. Googles Veo 3 generiert etwa zu Videoclips auch die passende Audiospur.
Mit Aleph stellt Runway unter Beweis, dass Videomodelle in ihren Fähigkeiten zwar etwas hinter denen von reinen Bildmodellen hinterherhängen, über kurz oder lang jedoch aufschließen. Erst im Mai hatte das deutsche Start-up Black Forest Labs mit Flux.1 Kontext ein spannendes Modell vorgestellt, das Eingabebilder partiell verändern kann, anstatt sie komplett neu zu generieren.
Runway will Aleph zunächst für Enterprise und Creative Partners verfügbar machen. Eine breitere Verfügbarkeit für alle Nutzer:innen soll jedoch in Zukunft noch folgen. Das Unternehmen hat in der Vergangenheit bereits Partnerschaften mit dem Hollywood-Studio Lionsgate angekündigt.
Es ist davon auszugehen, dass Konkurrenten wie Midjourney, OpenAI, MiniMax, ByteDance oder Tencent zeitnah ähnliche Funktionen anbieten. Runway punktet jedoch neben technischem Fortschritt auch mit einer ausgereiften Oberfläche mit einer Fülle von Funktionen.
