Mehr Suchen hilft nicht: KI-Agenten brauchen bessere Rückfrage-Strategien

Reale Anfragen sind jedoch häufig vage, unvollständig oder sogar sachlich falsch. In langen Argumentationsketten pflanzt sich jede unaufgelöste Mehrdeutigkeit fort und lenkt den Agenten auf falsche Pfade. Wer an einem frühen Knoten die falsche Entität auswählt, sucht danach zwar syntaktisch sauber weiter, verfehlt aber das eigentliche Ziel.

Vier Typen von Mehrdeutigkeit

DiscoBench umfasst 211 Aufgaben mit insgesamt 463 mehrdeutigen Stellen aus elf Wissensdomänen, darunter Videospiele, Sport, Musik, Film, Wissenschaft und Politik. Jede Aufgabe ist in mehrere Checkpoints unterteilt. An jedem Checkpoint kann der Agent zwischen drei Aktionen wählen: weitersuchen, beim Nutzer nachfragen oder eine Antwort geben.

Die Forschenden unterscheiden vier Arten von Mehrdeutigkeit. Zur Beschreibung passen mehrere Entitäten (Entity), es existieren unterschiedliche Zeit- oder Versionsstände (Version), es kommen verschiedene Bewertungs- oder Rankingkriterien infrage (Criteria), oder die Beschreibung enthält einen Sachfehler (Factual Inaccuracy). Der Datensatz ist überwiegend auf Chinesisch verfasst, um typische Suchmuster im chinesischsprachigen Web abzubilden.

Stellt der Agent eine treffende Rückfrage, gibt ein LLM-basierter Nutzersimulator einen zuvor definierten Hinweis frei, mit dem sich die Suche eingrenzen lässt. Alle Suchanfragen laufen über die Agenten-Suchmaschine Tavily, als Simulator dient Gemini 3 Flash.

Selbst große Modelle bleiben unter 50 Prozent

Getestet wurden elf Modelle, die in den vergangenen sechs Monaten veröffentlicht wurden, darunter Claude Opus 4.7, GPT 5.4, Gemini 3.1 Pro Preview, Doubao Seed 2.0 Pro, DeepSeek V4 Pro, Kimi K2.6, GLM 5.1, Qwen3.6 Max, MiniMax M2.7, MiMo v2.5 Pro und Hunyuan 3.0 Preview.

Ohne expliziten Hinweis auf mögliche Mehrdeutigkeit erreicht Doubao Seed 2.0 Pro mit 43,1 Prozent die höchste End-to-End-Genauigkeit. Gemini 3.1 Pro folgt mit 40,8 Prozent, Claude Opus 4.7 mit 39,8 Prozent. Schwächere Modelle wie MiniMax M2.7 und Qwen3.6 Max kommen nur auf 16,1 beziehungsweise 12,3 Prozent.

Zwischen den einzelnen Zwischenschritten und dem Gesamtergebnis klafft eine deutliche Lücke. Claude Opus 4.7 etwa löst 57 Prozent der Checkpoints korrekt, erreicht aber insgesamt nur 39,8 Prozent. Die einzelnen Rechercheschritte funktionieren also, doch an unaufgelösten Mehrdeutigkeiten kippt am Ende die gesamte Kette.

Ein Warnhinweis reicht nicht

Die Autoren haben zusätzlich getestet, was passiert, wenn man den Agenten im System-Prompt ausdrücklich auffordert, auf Mehrdeutigkeit zu achten und im Zweifel eine Rückfrage zu stellen. Dieser "Guided"-Modus soll die Obergrenze zeigen, die erreichbar wird, wenn die Modelle nicht selbst auf die Idee kommen müssen, dass eine Frage unterspezifiziert ist.

Gemittelt über zehn Modelle steigt die End-to-End-Genauigkeit dadurch von 28,6 auf 33,7 Prozent, die Erkennungsrate (Detection-F1) aber deutlich stärker von 45,3 auf 64,9 Prozent. Der Hinweis hilft den Modellen also vor allem beim Erkennen, ohne dass sie den Rechercheweg deshalb erfolgreicher zu Ende führen. Bei Claude-Opus-4.7 sinkt die Endgenauigkeit unter dem Guided-Prompt sogar leicht, obwohl die Checkpoint-Quote steigt.

Weitersuchen ist schlechter als raten

Den zentralen Befund liefert die Auswertung nach Verhaltensprofilen an mehrdeutigen Checkpoints. Wenn Modelle nach einer Suche gezielt nachfragen ("SearchThenAsk"), erreichen sie im Schnitt eine Erfolgsquote von 93,4 Prozent. Direktes Raten ohne Rückfrage ("DirectGuess") kommt auf 56,5 Prozent.

Am schlechtesten schneidet "SearchHeavyGuess" mit 51,9 Prozent ab: Modelle, die zwar mehrfach suchen, dann aber trotzdem raten, statt zu fragen. Wiederholte Suchanfragen zeigen laut den Autoren, dass das Modell die Mehrdeutigkeit bereits bemerkt hat, sie aber nicht in eine Nutzerinteraktion überführt.

Dieser Effekt erklärt auch, warum mehr Werkzeugaufrufe nicht automatisch zu besseren Ergebnissen führen. Claude Opus 4.7 ruft im Vergleich häufig Suchwerkzeuge auf, liegt in der Genauigkeit aber hinter Gemini 3.1 Pro und Doubao Seed 2.0 Pro. Reine Suchintensität ersetzt keine strategische Interaktion.

Erkennen und gut Fragen sind zwei verschiedene Fähigkeiten

Erkennung und Rückfragequalität verlaufen dabei nicht parallel. Qwen3.6 Max erreicht nur eine Detection-F1 von 16 Prozent und stellt im neutralen Setting durchschnittlich 0,07 Rückfragen pro Aufgabe. Wenn das Modell aber fragt, sind 94,7 Prozent der Fragen inhaltlich korrekt und 89,5 Prozent führen zu einem Fortschritt.

MiniMax M2.7 fragt deutlich häufiger, kommt bei der Anschlussrate aber nur auf 60,7 bis 66,5 Prozent. Ein brauchbarer Rechercheagent braucht beide Fähigkeiten: den richtigen Moment für eine Rückfrage erkennen und sie so formulieren, dass die Antwort tatsächlich weiterhilft.

Nach Mehrdeutigkeitstyp zeigt sich, dass sachliche Fehler am leichtesten zu erkennen sind, weil sie in der Recherche direkte Widersprüche erzeugen. Schwieriger sind Entity- und Criteria-Mehrdeutigkeiten, bei denen mehrere plausible Kandidaten oder unklare Bewertungsmaßstäbe nebeneinander existieren, ohne dass ein offener Widerspruch entsteht.

Es braucht bessere Rückfragen

Ohne Zugriff auf das Suchwerkzeug brechen die im Vergleichstest untersuchten Modelle massiv ein. Doubao Seed 2.0 Pro fällt von 43,1 auf 2,4 Prozent, Gemini 3.1 Pro von 40,8 auf 19,9 Prozent. DiscoBench lässt sich also nicht allein aus dem gespeicherten Modellwissen beantworten.

Gleichzeitig schneiden die Modelle deutlich besser ab, wenn die Mehrdeutigkeit aus den Fragen entfernt wird. Die Genauigkeit steigt je nach Modell um 26,8 bis 40,2 Punkte. Die Autoren folgern, dass künftige Suchagenten neben Retrieval- und Reasoning-Fähigkeiten Mechanismen benötigen, die Unsicherheit aus der Suche in Nutzerinteraktion überführen.

Dass aktuelle Suchagenten in ihrem Rechercheverhalten grundlegende Schwächen zeigen, belegen weitere Arbeiten. Eine Untersuchung zeigt, dass führende Modelle auf Benchmarks wie BrowseComp oft nur bestätigen, was sie ohnehin wissen. Auf dem eigens gebauten LiveBrowseComp mit Fakten jenseits der Wissensgrenze brachen alle Systeme um 25 bis 40 Punkte ein. Der Benchmark Halluhard zeigte zudem, dass Claude Opus 4.5 mit Websuche in rund 30 Prozent der Fälle halluziniert, primär beim inhaltlichen Belegen zitierter Quellen.

Genau an diesem Punkt setzte Anthropic beim jüngsten Modellupdate Claude Opus 4.8 an. Das Modell soll Unsicherheiten häufiger kennzeichnen und Fehler im eigenen Code rund viermal seltener unkommentiert durchlassen als sein Vorgänger. Perplexity wiederum versucht mit Search as Code einen anderen Weg und lässt Modelle ihre Suchabläufe als Python-Programm schreiben, statt eine fertige API aufzurufen.