KI-Agent optimiert Token-Kosten: Nvidia spart fast 50 Prozent bei Coding-Agenten durch bessere Steuerung

Eine neue Studie von Nvidia-Forschenden drückt diese Kosten nun nicht am Modell, sondern an der sogenannten Harness, also der Steuerungsschicht zwischen Modell und Umgebung wie Codex, Claude Code oder OpenClaw.

Der Harness regelt, wie ein Agent Zustände sieht, Aktionen ausführt und Rückmeldungen verarbeitet. Viele Effizienzverfahren senken bislang primär die Kosten pro Token, etwa durch schnellere Attention-Kernels und Serving-Infrastruktur, Modellkompression wie Quantisierung oder den Einsatz günstigerer Modelle.

KI sucht in 152 Richtungen nach effizienterer Steuerungslogik

In der Praxis gelingt das nur schwer, weil Tool-Nutzung, Kontextverwaltung, Verifikation und Abbruchlogik eng zusammenhängen. Spart eine Änderung an einer Stelle Tokens, kann sie anderswo Fehler auslösen oder die Kosten in eine spätere Phase verschieben. Üblicherweise sichten Menschen dafür lange Ausführungsprotokolle und übersetzen wiederkehrende Fehlermuster in Code.

Das System namens SoL-Pi übernimmt genau diese Arbeit. Ein Research-Agent beobachtet die Spuren eines anderen Agenten, schlägt Änderungen vor und testet sie in vorbereiteten Umgebungen. Fähigkeits- und Effizienzprüfungen entscheiden, welche Kandidaten überleben. Der Ansatz ist laut den Autoren von rekursiver Selbstverbesserung inspiriert.

Insgesamt untersuchte das System 152 Ansatzrichtungen in 535 ausführbaren Umgebungen. Darunter waren 495 Aufgaben, die aus GitHub-Issue-Pull-Request-Paaren abgeleitet wurden, sowie 40 synthetische Testfälle. Daraus ergaben sich mehr als 3.000 Durchläufe und über 60.000 Interaktionen zwischen Agent und Umgebung. Die Zahlen zeigen laut den Forschern, wie breit gesucht wurde, bedeuten aber nicht, dass mehr Suche automatisch mehr bringt.

Frühere Arbeiten hätten gezeigt, dass automatisch optimierte Harnesses sich zu stark auf ihre Trainingsaufgaben zuschneiden und bei unbekannten Aufgaben kaum noch Vorteile bringen. SoL-Pi trennt deshalb Suchfeedback und Bewertung strikt. Als Prüfung dient der Benchmark EdgeBench, den die Forscher vom Suchprozess abschotteten: Von seinen 51 öffentlichen Aufgaben nutzten sie 11, um fertig entwickelte Kandidaten einmalig abzunehmen. Die übrigen 40 blieben der finalen Bewertung vorbehalten, deren Ergebnisse nicht in die Suche zurückflossen.

Vier Mechanismen gegen Leerlauf

Die Suche brachte vier Mechanismen hervor. Action Fusion fasst zwei aufeinanderfolgende Schritte zu einem zusammen, etwa eine Codeänderung und den anschließenden Testlauf. So entfällt ein kompletter Aufruf des Sprachmodells. Online Context Compact prüft nach jedem abgeschlossenen Planschritt, ob der bisher angesammelte Kontext gekürzt werden kann, ohne wichtige Informationen zu verlieren.

ObservationPack speichert lange Werkzeugausgaben in einem Archiv und fügt bei späteren Schritten nur noch eine kurze Zusammenfassung ein, statt den vollständigen Text immer wieder mitzuschicken. Der Evidence-Preserving Reducer schickt umfangreiche Fehler- und Testprotokolle an ein günstigeres Modell, das sie auf die wesentlichen Befunde eindampft. Ein automatischer Prüfschritt stellt sicher, dass dabei keine entscheidenden Hinweise verloren gehen.

Auf den 51 öffentlichen Aufgaben von EdgeBench arbeitet SoL-Pi laut den Forschern so gut wie der ursprüngliche Harness Pi. Wie stark der Token-Verbrauch sinkt, hängt von der Konfiguration ab. Die sparsamste Variante kombiniert alle vier Mechanismen, verbraucht 49 Prozent weniger Token und erreicht dabei 93,7 Prozent von Pis Punktzahl.

Wer stattdessen auf Leistung setzt und nur den jeweils stärksten Einzelmechanismus nutzt, übertrifft Pis Punktzahl um 5,3 Prozent und spart trotzdem Token. Über beide Varianten hinweg sinkt der Token-Verbrauch um 44,7 bis 49 Prozent.

In Geld gerechnet schätzen die Autoren auf aktuellen API-Preisen die Ersparnis auf 8,75 bis 13,50 US-Dollar pro Stunde gegenüber nativen Codex- und Claude-Code-Harnesses und auf 4,36 bis 5,71 US-Dollar gegenüber Pi.

Die Forscher entwickelten das System ausschließlich mit GPT-5.6 Sol und wandten es dann ohne Anpassung auf Opus 5 an. Dort behielt es 94,3 Prozent von Pis Leistung bei ähnlichen Einsparungen. Allerdings lösten die Mechanismen unter Opus 5 seltener und weniger intensiv aus. Die Forscher erklären das damit, dass die Harness ausschließlich auf GPT-5.6-Sol-Trajektorien optimiert wurde.

Auf anderen Benchmarks ein gemischtes Bild

Über EdgeBench hinaus wird das Bild uneinheitlicher: Auf 63 CPU-Aufgaben von Terminal-Bench 4 löst SoL-Pi nur 15 Aufgaben, während Codex und Pi je 18 schaffen. Dafür fallen die Gesamtkosten gegenüber Pi um gut ein Viertel niedriger aus.

Bei den formal in Lean 4 verifizierten Aufgaben der Mathematikolympiade IMO 2026 knackt das System drei von sechs Problemen zum niedrigsten Preis pro gelöstem Problem. In einem Experiment zur Kernel-Optimierung senkte ein Schwarm aus 20 SoL-Pi-Arbeitern die Kosten gegenüber einem vergleichbaren Pi-Schwarm um 26,8 Prozent.

Ganz kostenlos ist die Effizienz allerdings nicht. Ein kürzerer Kontext kann die Wiederverwendung des Prompt-Caches verringern. Letztlich fielen die Gesamtkosten in einem Testlauf trotzdem von 1.339 auf 894 US-Dollar. Für die Zukunft schlagen die Autoren vor, den Harness ähnlich einem Modell über viele Aufgaben hinweg vorzutrainieren und einen bereits sparsamen Harness zu nutzen, um die Suche nach seinem Nachfolger zu verbilligen. Sie nennen diese rekursive Effizienzverbesserung ausdrücklich eine Vision, kein Ergebnis der Studie.

Wie stark der Harness die Kosten eines Agenten bestimmt, zeigte im August ein Test des Tooling-Unternehmens Composio. Es ließ Deepseek V4 Flash in vier Agenten-Frameworks antreten, darunter Claude Code und das auf Pi basierende Oh My Pi. Der Preis pro gelöster Aufgabe schwankte dabei fast um das Dreifache, obwohl dasselbe Modell arbeitete.

Gleichzeitig wächst der Druck, weil Agenten immer mehr Token verbrauchen: Laut OpenRouter-Analyst Peter Walker stieg der agentische Token-Verbrauch seit Februar 2026 um das 14‑Fache. Fast 70 Prozent davon entfallen auf gecachte Prompts.

Kontextverdichtung, wie sie SoL-Pi einsetzt, hat allerdings Nebenwirkungen. Eine Studie ergab, dass bei der Komprimierung im Schnitt nur 17 Prozent der Nutzeranweisungen erhalten bleiben. Auch parallele Agenten treiben die Kosten. Codex-Entwickler Eric Provencher warnte kürzlich, dass mehr als zwei Sub-Agenten fast immer Token verbrennen, ohne die Qualität zu verbessern, da sie sich permanent gegenseitig kontrollieren.