Das israelische Start-up Deepdub lässt Schauspieler in allen Sprachen sprechen. Die Technik könnte bald bei Netflix oder im Kino auftauchen.
Im letzten Dezember stellte sich Deepdub der Öffentlichkeit vor: Mit moderner KI-Sprachsynthese will das Start-up Stimmen erzeugen, die wie die Originalstimmen von Schauspielern klingen - in jeder Sprache.
Die automatisch vertonte KI-Übersetzung würde einerseits den üblichen Synchronisierungsprozess ersetzen, andererseits bliebe dem Schauspieler die Charakteristik seiner eigenen Stimme in allen Sprachen erhalten. Häufig wird die Wahrnehmung von Schauspielern in den verschiedenen Ländern durch die jeweiligen Synchronsprecher mitgeprägt. Deren Arbeitsmarkt könnte sich drastisch verändern, wenn der Plan von Deepdub aufgeht.
KI-Übersetzung kommt in der Praxis an
Jetzt hat Deepdub einen Lokalisierungsauftrag für den Film "Every Time I Die" von der New Yorker Produktionsfirma MiLa Media angenommen. Der Film läuft derzeit bei Netflix in den USA in englischer Originalsprache und soll in einigen Märkten auch in die Kinos kommen.
Deepdub will den Film mit der eigenen KI-Technik in lateinamerikanisches Spanisch und brasilianisches Portugiesisch übersetzen. Dafür wird zuerst ein neuronales Netz mit den Sprachdaten der Schauspieler trainiert und dann deren Sprachstil auf die Attribute der Zielsprache angepasst. Diese Attribute hängen von der jeweiligen Sprache ab und müssen entsprechend jeweils pro Sprache neu justiert werden.
Der KI-Synchronisierungsprozess ist daher noch weit davon entfernt, vollständig automatisiert zu laufen: Qualitätsprüfungen werden automatisch und manuell durchgeführt, ein Synchronisierungsregisseur und ein Sprachexperte müssen die Ergebnisse durchgehen. Anhand ihres Feedbacks wird die KI-Stimmsynthese feinjustiert. Das System soll aus diesem Prozess für zukünftige Übersetzungen lernen und effizienter werden.
KI-Technik: Chance für kleine Studios?
Deepdub-Chef Oz Krakowski geht davon aus, dass der KI-Synchronisierungsprozess rund acht Wochen dauern soll. Obwohl er weit von einer vollständigen Automatisierung entfernt ist, sollen die Kosten deutlich unter jenen für einen herkömmlichen Synchronisierungsprozess liegen.
Ähnlich wie bei KI in der Spieleentwicklung zeigt sich, dass insbesondere die kleineren Spieler am Markt zuerst und besonders stark von der KI-Automatisierung profitieren könnten, weil sie mit vergleichsweise geringem Aufwand Produkte und Services entwickeln können, die ansonsten großen Studios vorbehalten sind.
"Dieses Tool gibt Indie-Produzenten die Chance, mit den großen Studios zu konkurrieren und sie sogar zu schlagen, wenn es darum geht, ein breiteres Publikum zu erreichen", sagte MiLa Media CEO Ohad Ashkenazi.
Der Chef des Produktionsstudios will Netflix die KI-übersetzten Versionen für den internationalen Vertrieb anbieten. Im Sommer könnten sie in Kinos im lateinamerikanischen Markt laufen. Deepdub will in den kommenden Monaten mehrere Projekte in dieser Größenordnung angehen und im zweiten Halbjahr weitere Zielsprachen ergänzen.
Quelle: Protocol, Titelbild: MiLa Media
