Freelance-Benchmark zeigt: KI-Agenten erledigen viermal mehr Profi-Aufträge als noch vor acht Monaten

Zentrale Kennzahl ist die Automatisierungsrate: der Anteil der Projekte, bei denen die KI-Arbeit als mindestens so gut wie die des Menschen eingestuft wird.

Spitzenrate steigt von 2,5 auf 16,1 Prozent

Bei der Veröffentlichung des Benchmarks automatisierte der beste KI-Agent nur 2,5 Prozent der Projekte. Laut den neuen Ergebnissen erreicht Fable 5 nun mit 16,1 Prozent den höchsten bislang gemessenen Wert, etwa doppelt so viel wie Opus 4.8 mit 8,3 Prozent. GPT-5.5 kommt auf 6,3 Prozent. Alle drei Modelle liegen über jedem zuvor getesteten System. Der vorherige Spitzenreiter, Opus 4.6 mit dem Claude-Cowork-Gerüst, lag bei 4,17 Prozent.

Damit hat sich die Frontier laut den Autoren in weniger als acht Monaten mehr als vervierfacht. Beim Wert für Fable 5 gibt es eine Einschränkung: Es konnten nur 218 der 240 Projekte bewertet werden, bevor der Zugang zum Modell von der US-Regierung eingeschränkt wurde. Selbst im schlechtesten Fall, dass Fable 5 alle fehlenden Projekte verfehlt hätte, läge die Rate noch bei 14,6 Prozent und damit höher als bei jedem anderen Modell.

Der Fortschritt verläuft allerdings nicht linear entlang der Erscheinungsdaten. In der vollständigen Rangliste von Scale Labs landet das neuere Gemini 3 Pro mit nur 1,25 Prozent weit unten, hinter deutlich älteren Systemen.

Einige Beispiele aus der Untersuchung zeigen zugleich die aktuellen Grenzen der Spitzenmodelle. Bei einem Ringdesign ist Fable 5 zwar deutlich besser als frühere KIs, bleibt bei näherer Betrachtung aber unprofessionell. Bei einem Architekturauftrag fälschte GPT-5.5 ein ansprechendes Rendering mit einem Bildgenerator, während das eigentliche 3D-Modell fehlerhaft blieb.

Menschliche Gutachter bleiben nötig

Das Team prüfte, ob sich die aufwendige menschliche Bewertung durch eine KI ersetzen lässt, die selbst als Prüfer fungiert. Das Ergebnis: Diese KI-Prüfer bewerteten die neuen Modelle viel zu wohlwollend. Bei GPT-5.5 fiel die Einschätzung fast dreimal zu hoch aus, bei Opus 4.8 rund zweieinhalbmal. Die Reihenfolge der Modelle traf der automatische Prüfer zwar richtig, die konkreten Werte lagen aber weit daneben.

Der Grund ist laut CAIS einfach: Um eine abgelieferte Arbeit fair zu beurteilen, muss man die Dateien in den passenden Profi-Programmen öffnen, sie richtig bedienen und wie ein Kunde ein Urteil bilden. Genau diese praktische Bedienung von Software gehört zu dem, was aktuelle KI-Agenten am schlechtesten beherrschen. Ein KI-Prüfer stößt also auf dieselben Grenzen wie die KI-Arbeiter, die er bewerten soll. Das gefälschte Rendering von GPT-5.5 ist ein gutes Beispiel: Wer den Schwindel bemerken will, muss das 3D-Modell öffnen und die tatsächliche Geometrie ansehen. OpenAIs eigener Test namens GDPval kommt zu einem ähnlichen Schluss.

Damit die Modelle ihr volles Können zeigen, lässt das Team sie in denselben Werkzeugen laufen, die Entwickler im Alltag nutzen, etwa Claude Code und Codex CLI. Diese wurden um die Fähigkeit ergänzt, grafische Programme direkt zu bedienen. Als Arbeitsumgebung dient ein virtueller Linux-Rechner mit über 30 Profi-Anwendungen, darunter Blender, GIMP und Audacity. Jedes Projekt bekommt bis zu 24 Stunden Rechenzeit. Zusätzlich kommt eine Kritiker-Schleife zum Einsatz: Ein zweiter KI-Agent begutachtet das Ergebnis so kritisch wie ein anspruchsvoller Kunde, woraufhin der erste Agent nachbessert.

Noch scheitert die KI bei den meisten Projekten an der Profiqualität, keines der drei im Blogpost gezeigten Fable-5-Ergebnisse würde als fertige Arbeit durchgehen. Der Anstieg der Automatisierungsrate innerhalb eines Jahres ist laut den Autoren jedoch rapide und zeigt direkt, wie schnell die Automatisierung von Remote-Arbeit voranschreitet.