Alibaba stellt Sprechmodelle für Erkennung, Synthese und Echtzeit-Interaktion vor

Alibabas KI-Team Qwen hat mit Qwen-Audio-3.1 eine umfassende Audio-Modellreihe vorgestellt. Sie umfasst fünf Modelle für Spracherkennung (ASR), Sprachsynthese (TTS) und Echtzeit-Interaktion. Bei der Spracherkennung bietet das ASR-Modell verbesserte mehrsprachige Erkennung und Dialekterkennung sowie eine automatische Bereinigung von Füllwörtern und Wiederholungen. Das neue ASR-Next erkennt zusätzlich mehrere Sprecher mit Zeitstempeln und versteht Emotionen sowie Umgebungs- und Maschinengeräusche. Bei der Sprachsynthese beherrscht TTS mehrsprachige Synthese mit natürlichem sprachübergreifendem Stimmtransfer. Emotion, Geschwindigkeit und Stil lassen sich über einfache Textanweisungen steuern, etwa "Read this with a sharp, commanding tone, demanding respect."

TTS-Next kombiniert ein Sprachmodell mit einem Diffusionsverfahren und erzeugt Stimme, Soundeffekte und Hintergrundgeräusche in einem Durchgang. Das Echtzeit-Modell ermöglicht gleichzeitiges Sprechen und Zuhören mit jederzeitiger Unterbrechung. Erkennt es eine gedrückte Stimmung, antwortet es laut Qwen langsamer und einfühlsam.

Alibaba senkt zudem die Preise: TTS um rund 70 Prozent, Realtime um etwa 85 Prozent und ASR um bis zu 95 Prozent. Weitere Details gibt es im Blog und auf Qwen Cloud.