Das KI-Unternehmen Runway hat mit Gen-4 eine neue Generation von KI-Modellen für Videogenerierung vorgestellt. Es soll besonders bei der Erstellung dynamischer Videos und der Konsistenz von Stilen und Objekten neue Maßstäbe setzen.
Das neue Modell ermöglicht laut Runway die Erstellung von deutlich dynamischeren Videos mit realistischen Bewegungen sowie eine verbesserte Konsistenz von Motiven, Objekten und Stilen. Dabei soll Gen-4 eine bessere Befolgung von Prompts und ein verbessertes Verständnis der dargestellten Welt bieten. Es soll das Vorgängermodell Gen-3 Alpha deutlich übertreffen.
Konsistente Charaktere und Objekte über mehrere Szenen
Eine zentrale Neuerung von Gen-4 ist die Fähigkeit, mit nur einem einzigen Referenzbild konsistente Charaktere über verschiedene Beleuchtungsbedingungen, Orte und Behandlungen hinweg zu generieren. Das System kann visuelle Referenzen mit Anweisungen kombinieren, um neue Bilder und Videos mit einheitlichen Stilen, Motiven und Umgebungen zu erstellen.
Um die narrativen Möglichkeiten des Models zu demonstrieren, hat Runway mehrere Kurzfilme produziert. Der Film "New York is a Zoo" zeigt die visuellen Effekte des Systems, indem hyperrealistische Tiere in cinematische Szenen von New York integriert werden. Jede Szene wurde durch die Kombination von echten Tierreferenzbildern mit Fotografien von New York erstellt.
Ein weiteres Beispiel ist "The Herd", ein Kurzfilm über einen jungen Mann, der nachts durch ein Kuhfeld gejagt wird. Der Film wurde mit Gen-4 und nur wenigen Bildreferenzen für die Charaktere und das neblige Kuhfeld erstellt.
Auch "The Retrieval", ein animierter Kurzfilm über Entdecker auf der Suche nach einer mysteriösen Blume, wurde komplett mit Gen-4 in weniger als einer Woche produziert.
Weitere Beispiele sind auf der Webseite von RunwayML verfügbar. Das Gen-4 Image-to-Video-Modell ist ab sofort für alle zahlenden Abonnenten und Enterprise-Kunden verfügbar. Die Referenzfunktionen sollen in Kürze folgen.
