Microsoft und Project Gutenberg haben mithilfe von KI-Technologien mehr als 5.000 frei zugängliche Hörbücher mit hochwertigen synthetischen Stimmen erstellt.
Für das Projekt kombinierten die Forscherinnen und Forscher Fortschritte in den Bereichen maschinelles Lernen, automatische Textauswahl (welche Texte werden vorgelesen, welche nicht) und natürlich klingende Sprachsynthesesysteme.
Zunächst entwickelten sie einen Algorithmus, der die Struktur eines HTML-basierten E-Books versteht und zwischen dem Haupttext und unwichtigen Elementen wie Fußnoten, Seitenzahlen oder Tabellen unterscheidet.
Nach diesem so genannten Parsing folgt die eigentliche Umwandlung von Text in Sprache (Text-to-Speech, TTS). In diesem Projekt wurden insbesondere WaveNet, Tacotron und FastSpeech eingesetzt, die in der Lage sind, eine natürliche und menschenähnliche Sprachausgabe zu erzeugen.
Zusätzlich entwickelte das Team ein System, das in der Lage ist, zwischen Erzähler und Dialog und hier sogar zwischen einzelnen Charakteren und deren Emotionen zu unterscheiden und die generierte Stimme entsprechend anzupassen.
Die gesamte Prozesskette läuft auf dem Machine-Learning-Framework SynapseML, das darauf ausgelegt ist, die verschiedenen Aufgaben zu zerlegen und parallel abzuarbeiten.
How to Tell a Story, and Other Essays Twain, Mark, 1835-1910
Hörbuch mit eigener Stimme
Für die Präsentation auf einer Fachkonferenz entwickelte das Team zudem einen Zero-Shot Text-to-Speech-Ansatz, mit dem der Charakter der eigenen Stimme anhand weniger aufgenommener Sätze erfasst und auf die Hörbuchstimme übertragen werden kann.
So kann man ein Buch aus der digitalen Bibliothek auswählen und es sich mit der eigenen Stimme vorlesen lassen - oder mit der Stimme seiner Wahl, wenn man über Audiodaten verfügt.
Insgesamt hat das Projekt bisher mehr als 35.000 Stunden Audiodaten zu klassischer Literatur, Theaterstücken, Biografien und vielem mehr gesammelt, die "mit einer klaren und konsistenten Stimme" vorgelesen werden.
Allein dieser Datensatz könnte für weitere KI-Projekte schon hilfreich sein. Das Forschungsteam will alle Audiodaten uneingeschränkt als Open Source zur Verfügung stellen.
Die Audiobücher gibt es bei Spotify, Apple Podcasts oder Google Podcasts. Mehr Informationen zum Projekt gibt es auf der offiziellen Webseite.
Project Gutenberg ist eine freie digitale Bibliothek, die über das Internet zugänglich ist. Sie wird von Freiwilligen erstellt. Auf der Website des Projekts stehen mehr als 70.000 E-Books zur Verfügung, die kostenlos gelesen und heruntergeladen werden können.
