Microsoft und Project Gutenberg veröffentlichen mehr als 5.000 kostenlose Hörbücher
Microsoft und Project Gutenberg haben mithilfe von KI-Technologien mehr als 5.000 frei zugängliche Hörbücher mit hochwertigen synthetischen Stimmen erstellt.
Für das Projekt kombinierten die Forscherinnen und Forscher Fortschritte in den Bereichen maschinelles Lernen, automatische Textauswahl (welche Texte werden vorgelesen, welche nicht) und natürlich klingende Sprachsynthesesysteme.
Zunächst entwickelten sie einen Algorithmus, der die Struktur eines HTML-basierten E-Books versteht und zwischen dem Haupttext und unwichtigen Elementen wie Fußnoten, Seitenzahlen oder Tabellen unterscheidet.
Nach diesem so genannten Parsing folgt die eigentliche Umwandlung von Text in Sprache (Text-to-Speech, TTS). In diesem Projekt wurden insbesondere WaveNet, Tacotron und FastSpeech eingesetzt, die in der Lage sind, eine natürliche und menschenähnliche Sprachausgabe zu erzeugen.
Zusätzlich entwickelte das Team ein System, das in der Lage ist, zwischen Erzähler und Dialog und hier sogar zwischen einzelnen Charakteren und deren Emotionen zu unterscheiden und die generierte Stimme entsprechend anzupassen.
Die gesamte Prozesskette läuft auf dem Machine-Learning-Framework SynapseML, das darauf ausgelegt ist, die verschiedenen Aufgaben zu zerlegen und parallel abzuarbeiten.
How to Tell a Story, and Other Essays Twain, Mark, 1835-1910
Hörbuch mit eigener Stimme
Für die Präsentation auf einer Fachkonferenz entwickelte das Team zudem einen Zero-Shot Text-to-Speech-Ansatz, mit dem der Charakter der eigenen Stimme anhand weniger aufgenommener Sätze erfasst und auf die Hörbuchstimme übertragen werden kann.
So kann man ein Buch aus der digitalen Bibliothek auswählen und es sich mit der eigenen Stimme vorlesen lassen - oder mit der Stimme seiner Wahl, wenn man über Audiodaten verfügt.
Insgesamt hat das Projekt bisher mehr als 35.000 Stunden Audiodaten zu klassischer Literatur, Theaterstücken, Biografien und vielem mehr gesammelt, die "mit einer klaren und konsistenten Stimme" vorgelesen werden.
Allein dieser Datensatz könnte für weitere KI-Projekte schon hilfreich sein. Das Forschungsteam will alle Audiodaten uneingeschränkt als Open Source zur Verfügung stellen.
Die Audiobücher gibt es bei Spotify, Apple Podcasts oder Google Podcasts. Mehr Informationen zum Projekt gibt es auf der offiziellen Webseite.
Project Gutenberg ist eine freie digitale Bibliothek, die über das Internet zugänglich ist. Sie wird von Freiwilligen erstellt. Auf der Website des Projekts stehen mehr als 70.000 E-Books zur Verfügung, die kostenlos gelesen und heruntergeladen werden können.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar“‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnierenKI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.