Eleven v4 bringt KI-Stimmen bei, Regieanweisungen wie Flüstern und Lachen treffsicher umzusetzen

Elevenlabs bringt mit Eleven v4 ein neues Stimmenmodell, das Regieanweisungen genauer umsetzt und Stimmen über lange Produktionen stabil hält. Auch die Turbo-Variante für Echtzeit-Sprachagenten baut auf einer neuen Modellarchitektur auf.

Mit Eleven v4 lässt Elevenlabs seine KI-Stimmen zuverlässiger lachen, flüstern und Türen knallen als mit dem Vorgänger. Die Turbo-Variante für Sprachagenten antwortet dabei in rund 150 Millisekunden. Die vor gut einem Jahr vorgestellte Vorgängerversion Eleven v3 beherrschte solche Audio-Tags bereits, setzte sie aber weniger akkurat um.

Stimmen sollen über ganze Hörbücher stabil bleiben

Elevenlabs hat v4 nach eigenen Angaben auf eine neue Architektur gestellt, die Tonfall, Tempo und Kontext eines Skripts auswertet. Nutzer geben Regieanweisungen per Tag oder in normalen Sätzen und können die Aussprache von Namen und Fachbegriffen über Lautschrift festlegen, was nun zuverlässiger funktionieren soll. Erzähler und Figuren sollen über eine ganze Produktion hinweg gleich klingen, auch wenn Nutzer einzelne Zeilen mehrfach neu generieren.

Pro Anfrage verarbeitet Eleven v4 bis zu 10.000 Zeichen, grob zehn Minuten Audio. Längere Werke wie Hörbücher entstehen aus mehreren Abschnitten, bei denen Tempo und Vortragsweise über die Übergänge hinweg gleich bleiben sollen. In Dialogen reagieren die KI-Sprecher auf den Kontext der gesamten Szene, statt einzelne Zeilen aneinanderzureihen.

Die neue Version unterstützt außerdem mehr als 90 Sprachen statt rund 70 bei v3. Eine geklonte Stimme soll fremde Sprachen mit muttersprachlichem Akzent sprechen und im Verlauf nicht mehr in ihren Ursprungsakzent zurückfallen. Professional Voice Clones, die mit v3 nicht funktionierten, sind wieder nutzbar. Für einen "Instant Voice Clone" genügen zehn Sekunden Audio.

Turbo-Variante für Sprachagenten

Elevenlabs stellt v4 für Echtzeitanwendungen wie Kundenhotlines oder Spielfiguren eine schnellere Variante zur Seite. Entwickler von Sprachagenten mussten laut dem Unternehmen bisher zwischen schnellen und ausdrucksstarken Stimmen wählen. Eleven v4 Turbo soll beides verbinden.

In Messungen des Herstellers benötigt das Modell 150 Millisekunden bis zur ersten hörbaren Sprache, Cartesia Sonic 3.6 kommt auf 262 und OpenAIs GPT-4o mini TTS auf 814 Millisekunden. Elevenlabs hat Turbo gemeinsam mit seiner Agentenplattform ElevenAgents optimiert.

In der Provider-Voice-Arena von Artificial Analysis führt Eleven v4 vor Cartesia Sonic 3.6 und Googles Gemini 3.8 Flash TTS. Beim Aussprache-Benchmark verbessert es sich gegenüber v3 von 85,6 auf 91,7 Prozent. In Blindtests des Herstellers zogen rund drei Viertel der Hörer v4 den Modellen von Cartesia, Inworld und Google vor.

Verfügbarkeit

Elevenlabs verlangt für v4 über die API regulär 80 US-Dollar pro Million Zeichen, für Turbo 40 Dollar. Bis zum 12. Oktober sinken die Preise auf 22 und 11 Dollar. Nutzer ab dem Creator-Tarif für 22 Dollar im Monat können v4 in ElevenCreative laut Elevenlabs zwei Wochen lang ohne Aufpreis nutzen, bis zum Doppelten ihrer monatlichen Credits. Sonic 3.6 kostet laut Artificial Analysis 49 Dollar pro Million Zeichen, Gemini 3.8 Flash TTS 16,49 Dollar.

Beide Modelle sind ab sofort in ElevenAgents, ElevenCreative und über die API verfügbar. Elevenlabs speichert Kundendaten laut Dokumentation standardmäßig in den USA. Enterprise-Kunden können ihre Daten in isolierten Umgebungen in der EU, Indien oder Singapur speichern lassen, verarbeitet werden sie aber teils auch außerhalb der Region. In der EU lässt sich die Verarbeitung per API mit einem Modus ohne Datenspeicherung auf die Region begrenzen.

Elevenlabs hatte erst Mitte September das Musikmodell Music 2.5 vorgestellt, das dichtere und natürlicher klingende Songs erzeugen soll.

Professionelle Stimmklone für Synchronisation in allen Sprachen

Die hochwertigeren Stimmklone machen v4 für Synchronisation interessant: Elevenlabs wirbt damit, die Stimme eines Schauspielers in allen unterstützten Sprachen einsetzen zu können. Für die Menschen hinter den Stimmen setzt das Unternehmen auf Lizenzmodelle. Sprecher können einen aufwendig trainierten Klon ihrer Stimme in der Stimmenbibliothek von Elevenlabs anbieten und erhalten Geld, wenn zahlende Nutzer ihn verwenden. Stimmen von Prominenten wie Michael Caine vermittelt das Unternehmen bereits über einen eigenen Marktplatz.

Solche Modelle funktionieren nur, solange die Betroffenen freiwillig zustimmen und am Einsatz ihrer Stimme mitverdienen. In China dagegen müssen Darsteller von Kurzdramen laut Financial Times teils Stimme und Aussehen an KI-Tools übertragen, bevor sie entlassen werden. Realistische KI-Stimmen erleichtern außerdem Desinformation: Newsguard brachte ChatGPT Voice und Gemini Live in Tests dazu, bei gezielten Aufforderungen in rund der Hälfte der Fälle Falschbehauptungen als Audio wiederzugeben.