Tencents Forschungsmodell Gander soll gleichzeitig reden, zusehen und Aufgaben erledigen

Das KI-Modell Gander verbindet Gespräche in Echtzeit mit Agentenfunktionen. Nutzer sollen es jederzeit unterbrechen können, während es im Hintergrund Aufgaben bearbeitet.

Forschende von Tencents Hunyuan-Speech-Team haben gemeinsam mit mehreren Universitäten das KI-Modell Gander vorgestellt. Laut dem technischen Bericht soll es Sprache, Bild und Text gleichzeitig verarbeiten, Gespräche in Echtzeit führen und komplexere Aufgaben wie ein Agent erledigen.

Die Forschenden kritisieren, dass heutige Sprachassistenten meist nur im Wechsel mit den Nutzern sprechen. Auf eine Äußerung des Nutzers folgt die Antwort des Modells, bevor der Nutzer wieder an der Reihe ist. Menschen unterbrechen sich dagegen, geben kurze Rückmeldungen und hören zu, während sie selbst sprechen.

Gander empfängt deshalb fortlaufend Video, Sprache und Text und soll so flüssiger reagieren. Nutzer können jederzeit dazwischenreden, während das Modell von sich aus nachfragen oder über den Fortschritt seiner Arbeit informieren kann.

Aufgeteilt in Kleinhirn und Gehirn

Die Forschenden teilen das Modell in zwei Rollen auf, die sie in Anlehnung an die menschliche Anatomie Kleinhirn und Gehirn nennen. Das Kleinhirn führt das Gespräch in Echtzeit. Das Gehirn übernimmt das Nachdenken und aufwendige Aufgaben wie das Durchsuchen von Dateien oder das Schreiben von Code.

Die Aufteilung soll einen Zielkonflikt lösen: Ein flüssiges Gespräch verlangt sofortige Antworten, komplexe Aufgaben brauchen Zeit zum Planen. Ein einziges Modell muss laut den Forschenden daher zwangsläufig zwischen Tempo und Denkleistung abwägen.

Das Gehirn lässt sich durch bestehende Agentensysteme wie Codex oder Claude Code ersetzen, ohne das Gesprächsmodell neu zu trainieren. In den Tests übernahm ein nicht näher genanntes Modell aus OpenAIs GPT-5.6-Familie die Rolle des Gehirns. Verbessert sich das zugrunde liegende Modell, profitiert davon direkt das Gesamtsystem.

Jede Sekunde die Wahl zwischen Zuhören und Sprechen

Damit das Kleinhirn flüssig reagieren kann, zerlegt Gander das Gespräch in Abschnitte von jeweils einer Sekunde. In jedem Abschnitt entscheidet das Modell neu, ob es zuhört, spricht oder sich selbst unterbricht, etwa wenn der Nutzer dazwischenredet. So reagiert es im richtigen Moment, ohne ein zusätzliches Modul zur Erkennung von Sprechbeginn und Sprechende zu benötigen. Als Gedächtnis dienen die jeweils letzten rund zwei Minuten des Gesprächs.

Da es bislang keinen eigenen Test für solche Modelle gibt, nutzen die Forschenden etablierte Benchmarks. Im Full-Duplex-Bench v3, der Sprachassistenten in verschiedenen Aufgabenszenarien prüft, erzielt Gander laut Bericht das beste Timing. Es ergreift in allen 100 Szenarien im passenden Moment das Wort und fällt Nutzern in 8 Prozent der Fälle ins Wort. Zum Vergleich nennt der Bericht 13,5 Prozent bei GPT-Realtime und knapp 48 Prozent beim schwächsten Konkurrenten. Gander erreicht die Ergebnisse laut Bericht mit einem vergleichsweise kleinen Modell, das gegen kommerzielle Systeme wie GPT-Realtime, Gemini Live und Grok antritt.

Bei der reinen Aufgabengenauigkeit liegt Gander leicht zurück. Die Forschenden führen das teilweise darauf zurück, dass der Test das gesamte System samt gesprochener Antwort bewertet. Dadurch fließen auch Fehler bei der Sprachausgabe und Spracherkennung ein. Wird das Gehirn direkt per Text angesteuert, erzielt es deutlich bessere Werte.

Beim Verständnis von Video und Ton räumen die Forschenden eine Schwäche ein. In einem Test schneidet Gander schlechter ab als sein Basismodell. Als Grund nennen sie das Training, das auf flüssige Gespräche ausgerichtet ist und genaue Wahrnehmungsaufgaben vernachlässigt. Dazu zählen das Zählen von Objekten und das Bestimmen ihrer Position im Bild.

Modell, Code und Daten sollen offen werden

Gander wurde laut Bericht mit rund 2,7 Millionen Beispielen trainiert. Ein Teil davon soll dem Modell gezielt beibringen zu schweigen, etwa bei Hintergrundgeräuschen oder wenn in einer Gruppe niemand den Assistenten anspricht.

Die Forschenden beschreiben Gander als frühe Erkundung eines noch offenen Forschungsfelds. Ungeklärt sei unter anderem, wie sich das Modell vergrößern lässt. Zudem fehle ein einheitliches Verfahren zur Bewertung solcher Systeme. Modellgewichte und Daten sollen noch veröffentlicht werden. Für den Code gibt es bereits ein GitHub-Repository, Demos stehen auf der Projektseite.

Orchestratoren werden immer wichtiger

Tencent hatte im Juli mit Hy3 ein offenes Sprachmodell veröffentlicht, das vor allem bei agentischen Aufgaben aufgeholt haben soll. Es wird bereits in WorkBuddy, Yuanbao und WeChat eingesetzt. Der Konzern verhandelt außerdem über die größte Beteiligung am Agenten-Startup Manus, nachdem Peking die Übernahme durch Meta blockiert hatte. Tencent sieht darin Synergien mit eigenen Plänen, etwa für einen in WeChat eingebetteten Agenten.

Immer mehr Anbieter setzen bei Agenten auf Orchestratoren, die Aufgaben an andere Modelle verteilen. OpenAI trennt bei GPT-Live die Gesprächsführung vom Reasoning. Aufgaben, die Websuche oder agentische Fähigkeiten erfordern, übernimmt ein Hintergrundmodell, während das Gespräch weiterläuft. Sakana AIs Orchestrator Fugu ist ein eigenes Sprachmodell, das andere Modelle aus einem erweiterbaren Pool aufruft.

OpenAI testet außerdem proaktive Agenten, die sich selbst Folgeaufgaben anlegen und Nutzer von sich aus kontaktieren. Erfahrene Nutzer unterbrechen Claude Code laut einer Auswertung von Anthropic in rund 9 Prozent der Arbeitsschritte, Neulinge in etwa 5 Prozent. Teams, die dialogorientierte Sprachagenten und Chatagenten entwickeln, berichten laut einer Umfrage besonders häufig von Latenzproblemen.