Scribe von ElevenLabs soll über einfache Transkription hinausgehen und auch nonverbale Elemente und Rollen verschiedener Sprecher:innen interpretieren können. Dabei funktioniert es sogar bei hohem Sprechtempo.
Das kalifornische Startup war bisher vor allem für seine Sprachsynthese und die Möglichkeit zum Klonen von Stimmen bekannt. Scribe geht nun den Weg andersherum und macht aus gesprochener Sprache Text. Das Modell ist ab sofort über die Website und API des Unternehmens verfügbar.
John "Motormouth" Moschitta stellte 1984 einen Guiness-Welt-Rekord auf, für den er 586 Wörter pro Minute sprach. Der Rekord wurde zwar schon 1990 gebrochen, unterstreicht aber trotzdem Scribes Fähigkeiten. | Video: ElevenLabs
Laut ElevenLabs zeichnet sich Scribe durch seine hohe Erkennungsgenauigkeit in 99 Sprachen aus, darunter auch einige bisher weniger gut abgedeckte wie Serbisch, Kantonesisch und Malayalam.
In Benchmark-Tests mit gängigen Datensätzen wie FLEURS und Common Voice erzielte Scribe laut ElevenLabs im Vergleich zu Systemen von Google, OpenAI und Deepgram eine niedrigere Wortfehlerrate.
Diese Behauptungen des Entwicklers hat Artificial Analysis bereits bestätigt und bescheinigt Scribe v1 mit 7,7 Prozent die niedrigste Fehlerrate aller getesteten Modelle.
Versteht auch nonverbale Ausdrücke
"Scribe transkribiert nicht nur - es versteht Audio", erklärt Flavio Schneider, leitender Forscher bei ElevenLabs, in einem Beitrag auf X. "Es kann nonverbale Ausdrücke wie Lachen, Soundeffekte, Musik und Hintergrundgeräusche erkennen und lange Audiokontexte für eine genaue Diarisierung analysieren, selbst in den anspruchsvollsten Umgebungen."
Die Diarisierung, also die Zuordnung von Textpassagen zu einzelnen Sprecher:innen, ist eine der Kernfunktionen von Scribe. Laut der Dokumentation ist das Modell in der Lage, in einer Audioaufnahme bis zu 32 verschiedene Sprecher zu identifizieren und auseinanderzuhalten.
Die Transkriptionsergebnisse werden mit präzisen Zeitstempeln auf Wortebene versehen und lassen sich über eine API in strukturierter Form abrufen und in eigene Anwendungen integrieren. Damit eigne sich Scribe für ein breites Spektrum an Einsatzszenarien, von der automatisierten Dokumentation über die Untertitelung bis hin zur Analyse von Kund:innengesprächen im Callcenter.
Eine Stunde kostet 40 Cent
Eine Stunde Audio-Transkription mit Scribe kostet 0,40 US-Dollar und bewegt sich damit preislich auf einem ähnlichen Niveau wie OpenAIs Whisper. In den ersten sechs Wochen nach der Einführung gewährt ElevenLabs zudem einen Rabatt von 50 Prozent. Eine Version des Modells mit niedriger Latenz für den Echtzeiteinsatz soll in Kürze folgen.
Mit Scribe tritt ElevenLabs in direkte Konkurrenz zu etablierten Anbietern im Markt der automatischen Spracherkennung wie Google, OpenAI, Deepgram oder AssemblyAI. Das 2022 gegründete Startup konnte kürzlich in einer Finanzierungsrunde Investitionen in Höhe von 180 Millionen US-Dollar einwerben und wird mit 3,3 Milliarden US-Dollar bewertet.
