Metas neues Echtzeit-Sprachmodell ist der Unterbau für dauerhaft mithörende KI-Assistenten

Metas Superintelligence Labs veröffentlichen ihr erstes Echtzeit-Modell zur Audio-Wahrnehmung. Es transkribiert Sprache, unterscheidet Sprecher und erkennt Satzenden im laufenden Gespräch.

Das Modell der Spark-Familie zerlegt eingehendes Audio in kleine Abschnitte von je 80 Millisekunden. Nach jedem Abschnitt trifft das Modell eine Entscheidung: entweder weiter zuhören und den nächsten Audioabschnitt abwarten oder das nächste Wort als Text ausgeben. Damit steuert das Modell selbst, wie viel Kontext es sammelt, bevor es ein Wort transkribiert.

Darin steckt ein Zielkonflikt: Je länger das Modell wartet, desto genauer wird die Transkription, weil es mehr Kontext hat. Zugleich steigt aber die Verzögerung, bis der Text erscheint. Muse Voice Transcribe passt die Wartezeit laut Meta für jedes Wort dynamisch an die Schwierigkeit an. Einfache Wörter gibt es schneller aus, bei schwierigen wartet es länger. Trainiert wurde dieses Verhalten mit Reinforcement Learning, bei dem das Modell für niedrige Fehlerraten und für kurze Verzögerungen zugleich belohnt wird. Nach Angaben des Unternehmens erreicht das Modell so das bestmögliche Verhältnis von Geschwindigkeit und Genauigkeit.

Sprecher trennen und Satzenden erkennen ohne separates System

Auf dieser Grundlage baut Meta die weiteren Funktionen auf, ohne dafür getrennte Systeme zu benötigen. Für die Sprecherzuordnung markiert das Modell im laufenden Text, wo ein Sprecherwechsel stattfindet, und versieht jede Passage mit einer Kennung von A bis Z. Für die Erkennung von Satzenden markiert es Beginn und Ende einer Äußerung. Beide Aufgaben trainiert Meta gemeinsam mit der Spracherkennung.

Das Modell soll mehr als 20 Sprecher gleichzeitig auseinanderhalten und Audioaufnahmen von über einer Stunde ohne Nachbearbeitung verarbeiten. In einer Demo mit acht Personen in einem Raum ordnet das System nach Darstellung von Meta die Wortbeiträge live den einzelnen Sprechern zu.

Mehrsprachigkeit als zentrales Verkaufsargument

Muse Voice Transcribe wurde nach Angaben von Meta mit mehr als 70 Sprachen trainiert, von denen 25 ausführlich geprüft sind. Das Modell soll auch dann zurechtkommen, wenn Sprecher innerhalb eines Satzes zwischen zwei Sprachen wechseln. Über zusätzliche Hinweise auf Sprache, Schlüsselwörter und Kontext soll die Erkennungsgenauigkeit weiter steigen, etwa bei Eigennamen wie "Meta", "Muse" oder "Menlo Park".

Artificial Analysis bestätigt Metas Angaben in einer eigenen Auswertung. Muse Voice Transcribe erreicht beim fertigen Transkript 3,1 Prozent Wortfehlerrate auf Englisch und braucht dafür 0,16 Sekunden, nachdem jemand zu Ende gesprochen hat. ElevenLabs Scribe v2 Realtime liegt bei 3,6 Prozent und 0,14 Sekunden, AssemblyAI Universal-3.5 Pro Realtime bei 4,0 Prozent. Cartesia Ink-2 kommt auf 3,4 oder 4,0 Prozent, je nachdem, ob das Modell selbst erkennt, wann eine Äußerung zu Ende ist, oder ob ein externes System dieses Signal liefert. Konkurrenz gibt es in diesem Bereich reichlich, OpenAI hat im Mai GPT-Realtime-Whisper für denselben Zweck veröffentlicht und im Juli die Preise für seine Transkriptionsmodelle gesenkt.

Meta bettet die Veröffentlichung in die von CEO Mark Zuckerberg formulierte Idee einer "persönlichen Superintelligenz" ein. In der inszenierten Demo argumentieren Meta-Mitarbeitende, verlässliche Spracherkennung sei die Grundlage für persönliche KI-Agenten, die in echten Gesprächen zuhören, etwa über KI-Brillen. Genau diese Geräte stehen derzeit in der Debatte, in Deutschland wurde zuletzt ein Verbot von Metas Kamera-Brille diskutiert, das die Bundesnetzagentur aber nicht verfolgt.

Verfügbarkeit

Muse Voice Transcribe treibt laut Meta ab sofort die Sprachdiktierfunktion in Meta AI und Muse Code an und ist über die Meta-Model-API verfügbar. Nutzer können die Funktion durch Halten der 'Fn'-Taste in beliebigen Anwendungen ausprobieren.

Beim Preis unterbietet Meta die Konkurrenz. 0,18 Dollar pro Stunde entsprechen 3 Dollar pro 1.000 Audiominuten, gegenüber 4 Dollar bei Cartesia Ink-2 und 6,50 Dollar bei ElevenLabs Scribe v2 Realtime und Deepgram Flux.

Meta setzt damit dieselbe Strategie fort wie bei Muse Spark 1.1 und Muse Spark 1.2, wo der Konzern über den Preis und nicht über die Spitzenleistung konkurriert. Meta nennt weder Parameterzahl noch Trainingsdatenmenge oder Herkunft der Audiodaten und veröffentlicht die Gewichte nicht.

Meta hatte seine KI-Abteilung im Sommer 2025 unter dem Dach der Superintelligence Labs neu geordnet und dafür führende Forscher von OpenAI, Google Deepmind und Apple abgeworben, teils mit Gehaltspaketen von bis zu 300 Millionen Dollar über vier Jahre. Nicht alle blieben, einige kehrten nach wenigen Wochen zu OpenAI zurück.