KI-Coding-Agenten finden die richtige Datei, aber nicht die richtige Zeile

Ein internationales Forschungsteam unter Beteiligung der Shanghai Jiao Tong University setzt mit SWE-Explore genau hier an. Der Test prüft nur die erste Phase. Ein Agent bekommt eine Fehlerbeschreibung und ein Software-Projekt und soll eine sortierte Liste der Code-Abschnitte zurückgeben, die er für relevant hält. Geschrieben oder geändert wird nichts.

Erfolgreiche Läufe liefern die Referenz

Welche Stellen wirklich gebraucht werden, lässt sich von Hand kaum sauber festlegen. Das Team behilft sich anders. Für jedes der 848 Probleme im Datensatz liegen mindestens zwei erfolgreiche Lösungsversuche starker Modelle wie GPT-5.4, Gemini 3 Pro, Claude Sonnet 4.6 oder Kimi K2.6 vor. Aus diesen Läufen lesen die Forschenden ab, welche Dateien und Zeilen die KI tatsächlich angeschaut hat, bevor sie den Fehler behoben hat. Stellen, die mehrere unabhängige Lösungswege gemeinsam ansteuern, gelten als Hinweis auf nützlichen Kontext, nicht als zwingend nötig. Ein zusätzlicher Prüfschritt ergänzt einzelne tragende Stellen. Danach geht das Team jede Region noch einmal manuell durch.

Der Datensatz stützt sich auf 203 Open-Source-Projekte in zehn Programmiersprachen. Python dominiert mit 547 von 848 Aufgaben, dahinter folgen Go, JavaScript und Rust.

Stichwortsuche bleibt nahe am Zufall

Im Vergleich treten klassische Suchverfahren gegen fünf allgemeine Coding-Agenten an, darunter Claude Code, Codex und OpenHands, sowie gegen vier auf Code-Suche spezialisierte Forschungssysteme.

Klassische Stichwortsuche kommt kaum über das Zufallsniveau hinaus. In einer Fallstudie zeigen die Autorinnen und Autoren, warum: Eine Fehlerbeschreibung wie "RuntimeWarning bei Overflow" enthält Begriffe, die in Vorlagen und Dokumentation eines Projekts viel häufiger auftauchen als im eigentlichen Programmcode. Die KI-Agenten heben sich deutlich ab, weil sie das Projekt schrittweise durchsuchen, statt einmalig nach Treffern zu sortieren.

Auf Zeilenebene bricht die Trefferquote ein

Auf Datei-Ebene wirken die Agenten kompetent. Sie finden die richtige Quelldatei, ordnen sie früh in ihrer Ergebnisliste ein und halten die Auswahl kompakt. Sobald der Test auf einzelne Code-Zeilen schaut, kippt das Bild. Die allgemeinen Coding-Agenten erreichen im Schnitt nur 14 bis 19 Prozent der tatsächlich benötigten Zeilen.

Ein stärkeres Sprachmodell allein löst dieses Problem nicht. Das Team ließ denselben Agenten nacheinander mit sechs verschiedenen Modellen von OpenAI, Anthropic, Google, Moonshot und Zhipu arbeiten. Die GPT-Familie liegt vorn, doch das Grundmuster bleibt. Die Trefferquote bei Dateien fällt durchweg höher aus als die Abdeckung der eigentlichen Zeilen.

Auffällig dicht beieinander liegen die verschiedenen Agenten-Architekturen. Claude Code, Codex, OpenHands, Mini-SWE-Agent und AweAgent erreichen über die gesamte Bandbreite der Messungen fast dieselben Werte. Aus der Reihe tanzt das Forschungssystem CoSIL, das den Code als Netzwerk verknüpfter Bausteine durchforstet und somit eine deutlich höhere Zeilenabdeckung erreicht. Unter den spezialisierten Lokalisierungssystemen arbeitet AutoCodeRover präzise, bleibt aber konservativ, OrcaLoca produziert wenig Rauschen, verpasst dafür viele relevante Stellen.

Reparatur gelingt erst ab einer Schwelle

In einem kontrollierten Ablationsexperiment veränderte das Team den Kontext künstlich: Das Reparaturmodell sah nur 0, 25, 50, 75 oder 100 Prozent der Kernregionen, teils ergänzt durch irrelevante Nicht-Kernregionen. Bei den leichteren Aufgaben des Datensatzes zeigt sich ein klarer Schwelleneffekt. Solange weniger als die Hälfte der nötigen Kernstellen sichtbar ist, scheitern die Reparaturen weitgehend.

Erst zwischen 50 und 75 Prozent Abdeckung springt die Erfolgsquote nach oben. Korrekturen werden also nicht graduell besser, sondern benötigen eine Mindestmenge an Hinweisen. Bei den schwereren Aufgaben fällt der Effekt deutlich enger aus. Wenn das Problem die Fähigkeiten des Modells ohnehin übersteigt, hilft auch besserer Kontext kaum.

Sobald die wesentlichen Stellen einmal vorliegen, stört irrelevanter Zusatzcode kaum noch. Ein Agent, der zu wenig liest, schneidet schlechter ab als einer, der zu großzügig liest. Künftige Verbesserungen müssen also weniger filtern und mehr lesen.

Code und Daten stehen auf GitHub und Hugging Face.

Vor rund zwei Jahren setzte eine Forschungsgruppe mit SWE-bench einen Maßstab, an dem sich KI-Coding-Agenten an echten GitHub-Fehlerberichten messen lassen müssen. Daraus wuchs eine ganze Familie von Varianten für mehr Sprachen, sauberere Daten und schwerere professionelle Aufgaben. Zuletzt geriet die zugrunde liegende Erfolgsquote allerdings von mehreren Seiten unter Druck. Eine Untersuchung der Forschungsorganisation METR kam zu dem Schluss, dass Projektverantwortliche rund die Hälfte der vom automatischen Prüfer akzeptierten Lösungen ablehnen würden, ein erheblicher Teil davon wegen grundlegender Funktionsfehler.