Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Update vom 06. Juni 2023:

Runway Gen-2 ist ab sofort im Browser und in der Smartphone-App für iOS verfügbar. Der folgende Trailer zeigt einige der neuen Features.

Video: RunwayML

Ursprünglicher Artikel vom 20. März 2023:

Anzeige
Anzeige

Das New Yorker Web-Videoeditor Start-up Runway stellt mit Gen-2 ein neues Text-zu-Video-Modell vor.

Erst im Februar hatte Runway das Modell Gen-1 vorgestellt, das vorhandenen Videos ein neues Aussehen überstülpen kann. Aus einer realistisch gefilmten Szene wird beispielsweise per Sprachbefehl eine Comic-Welt, die die Proportionen und Bewegungen des Originals beibehält.

Das funktioniert für Personen und für Umgebungen, und das auf einem hohen Abstraktionsniveau: Aus nebeneinander liegenden Notizbüchern macht Gen-1 beispielsweise per Textbefehl eine Skyline. All diese Fähigkeiten stecken auch im neuen Modell Gen-2 von Runway.

Runway startet mit Text-zu-Video-Modell

Gen-2 geht aber noch einen Schritt weiter und generiert aus einem Prompt völlig neue Videoszenen. Die folgende dreisekündige Videoszene wurde von Runway mit dem Prompt "Aerial drone footage of a mountain range" generiert. Audio ist noch nicht dabei, wird laut Runway aber gerade erforscht.

Video: Runway

Empfehlung

Prompt: "A close-up of an eye." | Video: Runway

Darüber hinaus kann Runway kurze Videosequenzen auf der Grundlage eines Bildes oder aus der Kombination eines Bildes mit einer Textbeschreibung erzeugen. Links im Screenshot ist das Eingabebild zu sehen, das in eine kurze Videoanimation umgewandelt wird (rechts, groß im Bild). Die Szene im Hintergrund ändert sich entsprechend der Textanweisung.

Bild: Runway

Wie Bloomberg nach einer Demonstration berichtet, soll die Generierung eines Videos "innerhalb von Minuten" erfolgen. Allerdings ist die Ausgabe nur wenige Sekunden lang und die generierten Sequenzen enthalten viele Bildfehler und ruckeln. Insbesondere Bewegungsabläufe stellen für das Modell noch eine Herausforderung dar. Dafür passen die generierten Szenen zum Textbefehl.

Video: Runway

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Verteilung per Discord-Warteliste

Runway macht Gen-2 ausgewählten Testern und Testerinnen zugänglich, die sich über Discord auf eine Warteliste eintragen. Die Ausrollung soll kontinuierlich stattfinden. Gen-1 hat laut Runway derzeit "tausende Nutzer". Einen möglichen Missbrauch des Videosystems etwa für gewalthaltige Inhalte will Runway durch eine Kombination aus KI-Mechanismen mit der Hilfe menschlicher Moderator:innen verhindern.

Neben Runway arbeitet Google am Text-zu-Video-KI-System Phenaki und Meta an Make-a-Video. Meta hat mit Dreamix ein weiteres Modell speziell für die Videobearbeitung per Text in Arbeit. Für den Fall, dass sich die raschen Fortschritte bei KI-Bildgenerierung auf Videos übertragen, sollten Datenbanken mit Stock-Video-Sequenzen schon mal das Geschäftsmodell überdenken.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Das Start-up Runway entwickelt einen Web-Videoeditor mit KI-Funktionen.
  • Nutzerinnen und Nutzer sollen Videos mit einfachen Textbefehlen bearbeiten können.
  • Das jetzt vorgestellte Modell Gen 2 geht noch einen Schritt weiter: Es erstellt aus einem Textbefehl neue Videos. Es ist ab sofort im Browser und in der Smartphone-App verfügbar.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!