Pika Labs: KI-Video-Generator bietet jetzt Soundeffekte und Stimmen
Bisher waren KI-Videos Stummfilme. Doch das ändert sich gerade: Pika Labs führt ein neues generatives Audiomodell ein.
Pika Labs hat für seine generativen KI-Videos die Generierung von Soundeffekten aus Textbefehlen eingeführt. Mit dieser Funktion können Nutzer ihren Videos einfache Geräusche hinzufügen: brutzelnden Speck, kreischende Adler oder aufheulende Motoren.
Noch funktioniert die Audiogenerierung unabhängig vom Videoinhalt, das heißt, über einen Textbefehl, der auch das Video steuert, wird aus einem Audiomodell ein Soundeffekt generiert, der dann über das Video gelegt wird. Alternativ kann der Benutzer spezifische Audio-Prompts eingeben, um die Generierung besser zu steuern. Pika Labs hat nach eigenen Angaben ein eigenes Modell für die Audiogenerierung trainiert.
Zukünftige Modelle könnten die Audio- und Videogenerierung in einem Schritt durchführen und auf der Basis einer Analyse der Videobilder die zum Video passenden Töne automatisch generieren und an den richtigen Stellen einfügen. Das visuelle Verständnis für detaillierte Bildbeschreibungen ist bei großen Sprachmodellen wie GPT-4 bereits vorhanden.
Die neue Funktion steht derzeit nur Abonnenten des Pro-Tarifs zur Verfügung, soll aber in Kürze in größerem Umfang eingeführt werden. Zuvor hatte Pika Labs ein Lippensynchronisations-Tool vorgestellt, mit dem Nutzer den Charakteren in KI-generierten Videos lippensynchrone Stimmen verleihen können.
Pika Labs ist ein KI-Startup, das sich auf generative KI für Video spezialisiert hat. Es wurde von den Stanford-Studierenden Demi Guoa und Chenlin Meng gegründet. Mit ihrem Produkt, dem Pika Video Generator, können Nutzer Videos in verschiedenen Stilen wie 3D-Animation, Anime, Cartoon und Film erstellen und bearbeiten.
Pika Labs bietet Bild-zu-Video- und Text-zu-Video-Generierung an. So können beispielsweise bestehende Bilder animiert werden. Das Start-up hat in den ersten Finanzierungsrunden rund 55 Millionen US-Dollar eingesammelt.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar“‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnierenKI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.