Runway hat mit Gen-3 Alpha ein neues KI-Modell für die Videogenerierung vorgestellt. Laut Runway stellt es eine "signifikante Verbesserung" gegenüber dem Vorgänger Gen-2 in Bezug auf Detailtreue, Konsistenz und Bewegungsdarstellung dar.
Gen-3 Alpha wurde mit einer Mischung aus Videos und Bildern trainiert und unterstützt wie der im November 2023 eingeführte Vorgänger Text-to-Video-, Image-to-Video- und Text-to-Image-Funktionen sowie Steuerungsmodi wie Motion Brush, Advanced Camera Controls und Director Mode. Für die Zukunft seien weitere Werkzeuge geplant, um Struktur, Stil und Bewegung präziser zu steuern.
Runway Gen-3 Alpha: Erstes Modell einer Serie mit neuer Infrastruktur
Laut Runway ist Gen-3 Alpha das erste einer Serie, die auf einer neuen Trainingsinfrastruktur für große multimodale Modelle basiert. Welche konkreten Veränderungen die Forscher:innen dazu vorgenommen haben, verrät das Start-up allerdings nicht.
Ein technisches Paper fehlt, die einzigen verfügbaren Informationen sowie zahlreiche, unveränderte Videobeispiele mit einer Länge von maximal zehn Sekunden inklusive der verwendeten Prompts finden sich in einem Blogeintrag.
Video: RunwayML
Video: Runway
Video: Runway
Das Unternehmen hebt die Fähigkeit des Modells hervor, menschliche Charaktere mit verschiedenen Aktionen, Gesten und Emotionen zu generieren. Auch bei der Zeitkontrolle über Elemente und Übergänge in den Szenen zeige Gen-3 Alpha Fortschritte.
"Das Training von Gen-3 Alpha war das Ergebnis der Zusammenarbeit eines interdisziplinären Teams von Wissenschaftler:innen, Ingenieur:innen und Künstler:innen", betont RunwayML. Es sei entwickelt worden, um eine breite Palette von Stilen und Filmbegriffen zu interpretieren.
Video: Runway
Video: Runway
Video: Runway
Angepasste Modelle für Industrie-Kund:innen
Neben der Standardversion arbeitet Runway eigenen Angaben zufolge auch mit Unterhaltungs- und Medienunternehmen an angepassten Varianten von Gen-3 zusammen. Diese sollen eine bessere stilistische Kontrolle, konsistentere Charaktere und die Erfüllung spezifischer Anforderungen ermöglichen. Interessierte Unternehmen können über dieses Kontaktformular eine Anfrage stellen.
Parallel zu Gen-3 Alpha kündigt Runway neue Sicherheitsvorkehrungen wie ein verbessertes Moderationssystem und die Unterstützung des C2PA-Standards an, auf den auch alle großen, kommerziellen Bildmodelle setzen. Das Unternehmen sieht in dem Modell außerdem einen Schritt hin zu generellen Weltmodellen und einer neuen Generation der KI-gestützten Videogenerierung.
Runways Aufholjagd zu Sora
ChatGPT-Entwickler OpenAI hat im Februar 2024 sein Videomodell Sora gezeigt, das einen neuen Meilenstein in puncto Konsistenz und Bildqualität markierte. Allerdings ist die Software immer noch nicht frei zugänglich und wohl auch noch weit von einem Marktstart entfernt. Seitdem haben jedoch diverse konkurrierende Unternehmen ähnliche Technologien präsentiert, mit KLING und Vidu vor allem solche aus China.
RunwayML, schon seit einigen Jahren ein Pionier in dieser Sparte, scheint mit Gen-3 Alpha aufgeschlossen zu haben. Gen-3 Alpha wird laut dem Unternehmen in den nächsten Tagen für alle Interessierten verfügbar sein.
