RunwayML und Pika Labs stellen neue Funktionen für ihre Video-KI-Systeme vor.
RunwayML erhält eine Kamerasteuerung für KI-generierte Videos. Damit kann man beispielsweise gezielt ein- und auszoomen oder die horizontale und vertikale Richtung der Kamerabewegung beeinflussen.
Bisher waren diese Elemente weitgehend zufällig. Runway-CEO Cristóbal Valenzuela stellt die neue Funktion auf Twitter vor. Sie wird derzeit in der Web-App für Runway Gen-2 ausgerollt.
Video: RunwayML
Ende August wurde RunwayML Gen-2 um einen "Motion Slider" erweitert, mit dem der Grad der Bewegung in einer Bildanimation (langsam bis schnell) bestimmt werden kann. Die beiden Werkzeuge zusammen ermöglichen eine bessere Kontrolle bei der Video-Generierung.
Pika Labs mit Animationsfunktion und 24 Bildern pro Sekunde
Runway-Konkurrent Pika Labs hat Anfang September ebenfalls eine Animationsfunktion für Bilder ausgerollt. Damit kann ein beispielsweise mit Midjourney generiertes Bild in Bewegung versetzt werden.
Der folgende Trailer wurde auf diese Weise erzeugt. Für den Zusammenschnitt und die weitere Bearbeitung der Pika-Videoclips wurde ein Schnittprogramm verwendet.
Darüber hinaus können Videos nun mit bis zu 24 Bildern pro Sekunde generiert werden, was der typischen Bildwiederholrate von Kinofilmen entspricht. Bisher lag die maximale Bildwiederholrate bei 8 Bildern pro Sekunde. Mit der neuen Funktion kann die Bildwiederholrate frei zwischen 8 und 24 Bildern pro Sekunde eingestellt werden. Das folgende Video zeigt den Unterschied.
Video: Pika Labs
Pika Labs macht Jagd auf RunwayML
Pika Labs wird wie Midjourney über Discord betrieben. Dort hat der KI-Video-Service in den letzten rund zwei Monaten etwa 160.000 Nutzerinnen und Nutzer gewonnen. Pika Labs wurde erst Ende April von den Stanford-Studierenden Demi Guoa und Chenlin Meng gegründet.
Unterstützt wird Pika Labs unter anderem vom ehemaligen Githhub-CEO Nat Friedman. Er und weitere Investoren haben seit der Gründung 15 Millionen Dollar in Pika Labs investiert. Konkurrent Runway wird mit 1,5 Milliarden Dollar bewertet und hat seit seiner Gründung 2018 236,5 Millionen Dollar von Investoren erhalten.
Friedman soll Pika Labs unter anderem mit Rechenleistung für das KI-Training gelockt haben. Kürzlich kauften er und sein Partner Daniel Gross 2512 Nvidia H100-Karten für 100 Millionen Dollar.
Pika Labs ist derzeit ohne Einschränkungen bei Discord frei zugänglich.
