Inhalt
summary Zusammenfassung

Bisher waren KI-Videos Stummfilme. Doch das ändert sich gerade: Pika Labs führt ein neues generatives Audiomodell ein.

Anzeige

Pika Labs hat für seine generativen KI-Videos die Generierung von Soundeffekten aus Textbefehlen eingeführt. Mit dieser Funktion können Nutzer ihren Videos einfache Geräusche hinzufügen: brutzelnden Speck, kreischende Adler oder aufheulende Motoren.

Noch funktioniert die Audiogenerierung unabhängig vom Videoinhalt, das heißt, über einen Textbefehl, der auch das Video steuert, wird aus einem Audiomodell ein Soundeffekt generiert, der dann über das Video gelegt wird. Alternativ kann der Benutzer spezifische Audio-Prompts eingeben, um die Generierung besser zu steuern. Pika Labs hat nach eigenen Angaben ein eigenes Modell für die Audiogenerierung trainiert.

Zukünftige Modelle könnten die Audio- und Videogenerierung in einem Schritt durchführen und auf der Basis einer Analyse der Videobilder die zum Video passenden Töne automatisch generieren und an den richtigen Stellen einfügen. Das visuelle Verständnis für detaillierte Bildbeschreibungen ist bei großen Sprachmodellen wie GPT-4 bereits vorhanden.

Anzeige
Anzeige

Die neue Funktion steht derzeit nur Abonnenten des Pro-Tarifs zur Verfügung, soll aber in Kürze in größerem Umfang eingeführt werden. Zuvor hatte Pika Labs ein Lippensynchronisations-Tool vorgestellt, mit dem Nutzer den Charakteren in KI-generierten Videos lippensynchrone Stimmen verleihen können.

Pika Labs ist ein KI-Startup, das sich auf generative KI für Video spezialisiert hat. Es wurde von den Stanford-Studierenden Demi Guoa und Chenlin Meng gegründet. Mit ihrem Produkt, dem Pika Video Generator, können Nutzer Videos in verschiedenen Stilen wie 3D-Animation, Anime, Cartoon und Film erstellen und bearbeiten.

Pika Labs bietet Bild-zu-Video- und Text-zu-Video-Generierung an. So können beispielsweise bestehende Bilder animiert werden. Das Start-up hat in den ersten Finanzierungsrunden rund 55 Millionen US-Dollar eingesammelt.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Pika Labs führt die Erstellung von Soundeffekten aus Textaufforderungen für seine generativen KI-Videos ein, wodurch Nutzern ermöglicht wird, ihren Videos einfache Geräusche hinzuzufügen, wie brutzelnder Speck, schreiende Adler oder Motorengeräusche.
  • Die Audiogenerierung funktioniert derzeit unabhängig vom Videoinhalt und basiert auf einem eigenen, von Pika Labs entwickelten Audiomodell; zukünftige Modelle könnten Audio- und Videogenerierung in einem Schritt durchführen.
  • Die neue Funktion ist aktuell nur für Abonnenten des Pro-Tarifs verfügbar, soll aber bald in größerem Umfang eingeführt werden.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!