Bisher waren KI-Videos Stummfilme. Doch das ändert sich gerade: Pika Labs führt ein neues generatives Audiomodell ein.
Pika Labs hat für seine generativen KI-Videos die Generierung von Soundeffekten aus Textbefehlen eingeführt. Mit dieser Funktion können Nutzer ihren Videos einfache Geräusche hinzufügen: brutzelnden Speck, kreischende Adler oder aufheulende Motoren.
Noch funktioniert die Audiogenerierung unabhängig vom Videoinhalt, das heißt, über einen Textbefehl, der auch das Video steuert, wird aus einem Audiomodell ein Soundeffekt generiert, der dann über das Video gelegt wird. Alternativ kann der Benutzer spezifische Audio-Prompts eingeben, um die Generierung besser zu steuern. Pika Labs hat nach eigenen Angaben ein eigenes Modell für die Audiogenerierung trainiert.
Zukünftige Modelle könnten die Audio- und Videogenerierung in einem Schritt durchführen und auf der Basis einer Analyse der Videobilder die zum Video passenden Töne automatisch generieren und an den richtigen Stellen einfügen. Das visuelle Verständnis für detaillierte Bildbeschreibungen ist bei großen Sprachmodellen wie GPT-4 bereits vorhanden.
Die neue Funktion steht derzeit nur Abonnenten des Pro-Tarifs zur Verfügung, soll aber in Kürze in größerem Umfang eingeführt werden. Zuvor hatte Pika Labs ein Lippensynchronisations-Tool vorgestellt, mit dem Nutzer den Charakteren in KI-generierten Videos lippensynchrone Stimmen verleihen können.
Pika Labs ist ein KI-Startup, das sich auf generative KI für Video spezialisiert hat. Es wurde von den Stanford-Studierenden Demi Guoa und Chenlin Meng gegründet. Mit ihrem Produkt, dem Pika Video Generator, können Nutzer Videos in verschiedenen Stilen wie 3D-Animation, Anime, Cartoon und Film erstellen und bearbeiten.
Pika Labs bietet Bild-zu-Video- und Text-zu-Video-Generierung an. So können beispielsweise bestehende Bilder animiert werden. Das Start-up hat in den ersten Finanzierungsrunden rund 55 Millionen US-Dollar eingesammelt.