Inhalt
newsletter Newsletter
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Das israelische Start-up Deepdub lässt Schauspieler in allen Sprachen sprechen. Die Technik könnte bald bei Netflix oder im Kino auftauchen.

Im letzten Dezember stellte sich Deepdub der Öffentlichkeit vor: Mit moderner KI-Sprachsynthese will das Start-up Stimmen erzeugen, die wie die Originalstimmen von Schauspielern klingen - in jeder Sprache.

Die automatisch vertonte KI-Übersetzung würde einerseits den üblichen Synchronisierungsprozess ersetzen, andererseits bliebe dem Schauspieler die Charakteristik seiner eigenen Stimme in allen Sprachen erhalten. Häufig wird die Wahrnehmung von Schauspielern in den verschiedenen Ländern durch die jeweiligen Synchronsprecher mitgeprägt. Deren Arbeitsmarkt könnte sich drastisch verändern, wenn der Plan von Deepdub aufgeht.

KI-Übersetzung kommt in der Praxis an

Jetzt hat Deepdub einen Lokalisierungsauftrag für den Film "Every Time I Die" von der New Yorker Produktionsfirma MiLa Media angenommen. Der Film läuft derzeit bei Netflix in den USA in englischer Originalsprache und soll in einigen Märkten auch in die Kinos kommen.

Anzeige
Anzeige

Deepdub will den Film mit der eigenen KI-Technik in lateinamerikanisches Spanisch und brasilianisches Portugiesisch übersetzen. Dafür wird zuerst ein neuronales Netz mit den Sprachdaten der Schauspieler trainiert und dann deren Sprachstil auf die Attribute der Zielsprache angepasst. Diese Attribute hängen von der jeweiligen Sprache ab und müssen entsprechend jeweils pro Sprache neu justiert werden.

Der KI-Synchronisierungsprozess ist daher noch weit davon entfernt, vollständig automatisiert zu laufen: Qualitätsprüfungen werden automatisch und manuell durchgeführt, ein Synchronisierungsregisseur und ein Sprachexperte müssen die Ergebnisse durchgehen. Anhand ihres Feedbacks wird die KI-Stimmsynthese feinjustiert. Das System soll aus diesem Prozess für zukünftige Übersetzungen lernen und effizienter werden.

KI-Technik: Chance für kleine Studios?

Deepdub-Chef Oz Krakowski geht davon aus, dass der KI-Synchronisierungsprozess rund acht Wochen dauern soll. Obwohl er weit von einer vollständigen Automatisierung entfernt ist, sollen die Kosten deutlich unter jenen für einen herkömmlichen Synchronisierungsprozess liegen.

Ähnlich wie bei KI in der Spieleentwicklung zeigt sich, dass insbesondere die kleineren Spieler am Markt zuerst und besonders stark von der KI-Automatisierung profitieren könnten, weil sie mit vergleichsweise geringem Aufwand Produkte und Services entwickeln können, die ansonsten großen Studios vorbehalten sind.

"Dieses Tool gibt Indie-Produzenten die Chance, mit den großen Studios zu konkurrieren und sie sogar zu schlagen, wenn es darum geht, ein breiteres Publikum zu erreichen", sagte MiLa Media CEO Ohad Ashkenazi.

Empfehlung

Der Chef des Produktionsstudios will Netflix die KI-übersetzten Versionen für den internationalen Vertrieb anbieten. Im Sommer könnten sie in Kinos im lateinamerikanischen Markt laufen. Deepdub will in den kommenden Monaten mehrere Projekte in dieser Größenordnung angehen und im zweiten Halbjahr weitere Zielsprachen ergänzen.

Quelle: Protocol, Titelbild: MiLa Media

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Weiterlesen über Künstliche Intelligenz:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!