Britisches KI-Sicherheitsinstitut warnt: Standard-Benchmarks unterschätzen KI-Agenten systematisch

Das AI Security Institute (AISI) des Vereinigten Königreichs hat Frontier-Modelle über sieben Benchmarks hinweg mit variierenden Rechenbudgets getestet und kommt zu einem eindeutigen Ergebnis: Feste Budgetgrenzen unterschätzen die Leistungsfähigkeit von KI-Agenten systematisch.

Die Kernthese der Forscher: Die Leistung eines KI-Agenten ist eine Kurve, die mit dem sogenannten Test-Time Compute steigt. Damit ist die Rechenleistung gemeint, die ein Agent während der Bearbeitung einer Aufgabe verbrauchen darf. Wird das Budget gekappt, während die Leistungskurve noch ansteigt, ist der gemessene Score lediglich eine Untergrenze, nicht die tatsächliche Obergrenze der Fähigkeiten.

Die große Frage ist nun: In welchem Verhältnis stiegen die Fähigkeiten des KI-Agenten zusammen mit der Rechenleistung, und wie wirkt sich das auf die Cybersicherheit aus?

Mehr Rechenzeit bringt mehr Leistung

Der Effekt zeigt sich über verschiedene Domänen hinweg. Im Bereich Cybersicherheit wurden rund 8 Prozent der Aufgaben erst gelöst, als das Budget auf über 10 Millionen Tokens angehoben wurde, einige erforderten sogar 50 Millionen. Die neuesten Modelle erreichten bei Budgets von mehr als 100 Millionen Tokens noch höhere Werte.

Bei Software-Engineering-Aufgaben (TerminalBench 2.0, SWE-Bench Pro) stieg die Erfolgsrate um etwa 25 Prozent, wenn das Token-Budget von einer auf zehn Millionen erhöht wurde. Bei mathematischen und akademischen Aufgaben (Humanity's Last Exam) lag der Zugewinn bei rund 22 Prozent bis zu einem Budget von fünf Millionen Tokens.

Allerdings hilft mehr Rechenzeit nicht überall gleichermaßen. Beim HealthBench, einem Benchmark für medizinische Aufgaben, erreichten alle Modelle ihr Plateau bereits innerhalb des üblichen Budgets. Zusätzliches Compute hilft laut AISI primär dort, wo Agenten ihre eigene Arbeit überprüfen können, etwa beim Ausführen von Code oder Testen eines Exploits. Kaum Wirkung zeigt es dort, wo Feedback fehlt oder verzögert eintrifft.

Menschliche Aufgabenzeit als Indikator für den Token-Bedarf

Einen weiteren zentralen Befund liefert der Zusammenhang zwischen der Dauer, die ein menschlicher Experte für eine Aufgabe benötigt, und dem Token-Verbrauch des Agenten.

Über 211 Software-Engineering-Aufgaben des Forschungsinstituts METR und 78 Cyber-Aufgaben des AISI folgt dieser Zusammenhang einem Potenzgesetz: Eine Minutenaufgabe kostet den Agenten Tausende Tokens, eine Stundenaufgabe Millionen, eine Wochenaufgabe Milliarden.

Ein festes Evaluierungsbudget schneidet daher systematisch die längsten und schwierigsten Aufgaben ab. Ein Misserfolg kann dann bedeuten, dass das Budget zu knapp war, nicht dass dem Agenten die Fähigkeit fehlte. Das AISI nennt als Beispiel die Cyber-Aufgabe "The Last Ones", die für einen menschlichen Experten etwa 20 Stunden dauert. Kein getestetes Modell konnte sie mit weniger als 30 Millionen Tokens lösen.

Neuere Modelle verändern die Fähigkeitskurve grundlegend

Neuere Modelle profitieren überproportional von zusätzlichem Compute. Die Fähigkeitskurve verschiebt sich bei neueren Generationen nach oben und ändert zusätzlich ihre Form entlang dreier Achsen: Reichweite (schwierigere Aufgaben werden lösbar), Zuverlässigkeit (dieselbe Aufgabe wird häufiger gelöst) und Effizienz (dieselbe Aufgabe erfordert weniger Tokens).

Konkret stieg der Zeithorizont eines aktuellen Frontier-Modells von etwa 40 Minuten bei einem Budget von 2,5 Millionen Tokens auf rund vier Stunden bei 50 Millionen Tokens. An der gesamten Frontier verschiebt sich der Horizont von etwa zwei Stunden auf 14 Stunden, wenn das Budget von 2,5 auf 50 Millionen Tokens angehoben wird.

Die Frontier bewegt sich schneller als bisher gemessen

Das AISI hatte zuvor geschätzt, dass sich der Zeithorizont von Frontier-Modellen bei Cyber-Aufgaben etwa alle 4,7 Monate verdoppelt, gemessen bei einem festen Budget von 2,5 Millionen Tokens. Bei einem Budget von 50 Millionen Tokens ist der Trend jedoch rund 60 Prozent steiler: Die Verdopplung erfolgt alle 40 bis 50 Tage statt alle 67 bis 91 Tage.

Die geschätzte Verdoppelungsrate sei damit teilweise eine Folge des gewählten Evaluierungsbudgets und keine feste Eigenschaft des Frontier-Fortschritts, so das AISI. Allerdings ist der Fortschritt nicht gleichmäßig verteilt. Bei etwa 10 bis 30 Prozent der Aufgaben schnitten neuere Modelle tatsächlich schlechter ab als ihre Vorgänger.

Unterstützt wird der Befund durch Ergebnisse von Epoch's MirrorCode. Dort nutzte ein neueres Modell bis zu einer Milliarde Tokens, um Fortschritte zu erzielen, die frühere Modelle nicht schafften und die einem menschlichen Ingenieur Wochen Arbeit gekostet hätten.

Bessere Messmethoden statt dramatischer Prognosen

Für das AISI ist die zentrale Schlussfolgerung eine methodische: "Wenn wir Fähigkeiten weiterhin als festen Score statt als Kurve über das Compute-Budget behandeln, werden wir immer wieder überrascht sein, was diese Systeme leisten können, wenn mehr in sie investiert wird."

Ein Score, der bei zu knappem Budget gemessen wird, kann Entscheidungen über Deployment, ökonomischen Wert und Risikobewertung in die Irre führen. Gleichzeitig sinken die Kosten pro Token kontinuierlich. Fähigkeiten, die heute wegen hoher Rechenkosten unpraktisch erscheinen, werden damit breiter zugänglich und erhöhen die Dringlichkeit realistischer Messungen.

Als Konsequenz evaluiert das Institut Frontier-Modelle nun über mehrere Budgets hinweg. Sogenannte "Minimum Informative Budgets" sollen sicherstellen, dass die Leistungskurve eines Modells ihr Plateau erreicht hat, bevor ein Ergebnis als aussagekräftig gilt. Parallel arbeitet das Team an Methoden, um die Leistung bei hohen Budgets aus günstigeren Testläufen vorherzusagen.