Inhalt
summary Zusammenfassung

Microsoft und Project Gutenberg haben mithilfe von KI-Technologien mehr als 5.000 frei zugängliche Hörbücher mit hochwertigen synthetischen Stimmen erstellt.

Anzeige

Für das Projekt kombinierten die Forscherinnen und Forscher Fortschritte in den Bereichen maschinelles Lernen, automatische Textauswahl (welche Texte werden vorgelesen, welche nicht) und natürlich klingende Sprachsynthesesysteme.

Zunächst entwickelten sie einen Algorithmus, der die Struktur eines HTML-basierten E-Books versteht und zwischen dem Haupttext und unwichtigen Elementen wie Fußnoten, Seitenzahlen oder Tabellen unterscheidet.

Nach diesem so genannten Parsing folgt die eigentliche Umwandlung von Text in Sprache (Text-to-Speech, TTS). In diesem Projekt wurden insbesondere WaveNet, Tacotron und FastSpeech eingesetzt, die in der Lage sind, eine natürliche und menschenähnliche Sprachausgabe zu erzeugen.

Anzeige
Anzeige

Zusätzlich entwickelte das Team ein System, das in der Lage ist, zwischen Erzähler und Dialog und hier sogar zwischen einzelnen Charakteren und deren Emotionen zu unterscheiden und die generierte Stimme entsprechend anzupassen.

Die gesamte Prozesskette läuft auf dem Machine-Learning-Framework SynapseML, das darauf ausgelegt ist, die verschiedenen Aufgaben zu zerlegen und parallel abzuarbeiten.

How to Tell a Story, and Other Essays Twain, Mark, 1835-1910

Hörbuch mit eigener Stimme

Für die Präsentation auf einer Fachkonferenz entwickelte das Team zudem einen Zero-Shot Text-to-Speech-Ansatz, mit dem der Charakter der eigenen Stimme anhand weniger aufgenommener Sätze erfasst und auf die Hörbuchstimme übertragen werden kann.

So kann man ein Buch aus der digitalen Bibliothek auswählen und es sich mit der eigenen Stimme vorlesen lassen - oder mit der Stimme seiner Wahl, wenn man über Audiodaten verfügt.

Empfehlung

Insgesamt hat das Projekt bisher mehr als 35.000 Stunden Audiodaten zu klassischer Literatur, Theaterstücken, Biografien und vielem mehr gesammelt, die "mit einer klaren und konsistenten Stimme" vorgelesen werden.

Allein dieser Datensatz könnte für weitere KI-Projekte schon hilfreich sein. Das Forschungsteam will alle Audiodaten uneingeschränkt als Open Source zur Verfügung stellen.

Die Audiobücher gibt es bei Spotify, Apple Podcasts oder Google Podcasts. Mehr Informationen zum Projekt gibt es auf der offiziellen Webseite.

Project Gutenberg ist eine freie digitale Bibliothek, die über das Internet zugänglich ist. Sie wird von Freiwilligen erstellt. Auf der Website des Projekts stehen mehr als 70.000 E-Books zur Verfügung, die kostenlos gelesen und heruntergeladen werden können.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Microsoft und Project Gutenberg haben mehr als 5 000 Hörbücher produziert und dabei KI-Technologien wie maschinelles Lernen und automatische Textauswahl eingesetzt, um natürlich klingende synthetische Stimmen zu erzeugen.
  • Sie entwickelten Systeme, die zwischen dem Haupttext und unwichtigen Elementen sowie zwischen dem Sprecher, dem Dialog und den einzelnen Charakteren und ihren Emotionen im Hörbuch unterscheiden. Eine besondere Funktion ermöglicht es, die eigene Stimme anhand weniger aufgenommener Sätze in die Hörbuchstimme zu übertragen.
  • Die bisher gesammelten über 35.000 Stunden Audiodaten sollen als Open Source für weitere KI-Projekte zur Verfügung gestellt werden.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!