Nvidia veröffentlicht Open-Weight-Modell, das bis zu acht Sprecher in Echtzeit unterscheidet

Nvidia hat mit Nemotron 3 Diarization ein KI-Modell veröffentlicht, das in Gesprächen erkennt, wer wann spricht. Die Gewichte des Modells mit rund 100 Millionen Parametern sind frei verfügbar. Es unterscheidet bis zu acht Sprecher und erkennt auch, wenn mehrere Personen gleichzeitig reden. Mehr Teilnehmer, starker Lärm oder Hall erhöhen die Fehlerquote. Kombiniert mit einer Spracherkennung wie Parakeet lassen sich Transkripte mit Sprecherzuordnung erstellen, allerdings nur über anonyme Labels wie "speaker_2". Das Modell funktioniert mit Aufnahmen und live.

Der Audiopuffer lässt sich in vier Stufen zwischen 30,4 und 0,32 Sekunden einstellen, kürzere Puffer senken meist die Genauigkeit. Im Diarization-Bench von VoiceArena liegt das Modell vorläufig mit einer Fehlerrate von 14,72 Prozent auf Platz eins, vor dem nächstbesten System mit 19,3 Prozent. Der Test ist streng: Überlappende Sprache zählt mit, und selbst kleinste Abweichungen an den Übergängen gelten als Fehler. Gegenüber dem Vorgänger Streaming Sortformer sinkt die Fehlerrate bei 1,04 Sekunden Puffer über acht Testszenarien im Schnitt um 41 Prozent.