Anthropics Fable 5 dominiert in allen Benchmarks, kostet aber ein Vielfaches

Die Benchmarking-Plattform Artificial Analysis hat sechs neue branchenspezifische Leistungsindizes für KI-Modelle veröffentlicht. Anthropics Claude Fable 5 liegt in sämtlichen Kategorien vorn, doch günstigere Alternativen erledigen Aufgaben für einen Bruchteil der Kosten.

Wie gut schlagen sich aktuelle KI-Modelle bei branchenspezifischen Aufgaben in Bereichen wie Finanzwesen, Recht oder Medizin? Artificial Analysis hat dazu sechs neue sogenannte Capability Indices vorgestellt, die KI-Modelle in den Domänen Finance & Accounting, Legal, Healthcare & Medical, Strategy & Ops, Engineering und Economics vergleichen. Die neuen Indizes ergänzen die bereits bestehenden Agentic- und Coding-Indizes der Plattform.

Laut Artificial Analysis basiert die Methodik auf den Berufsklassifikationen des US-amerikanischen O*NET-Systems. Aus dort definierten beruflichen Aufgaben werden domänenspezifische Fähigkeiten abgeleitet, etwa Finanzmodellierung, Rechtsrecherche und Vertragsanalyse oder klinische Entscheidungsunterstützung. Für jede Domäne wird die Benchmark-Suite neu zusammengestellt und nach der Häufigkeit gewichtet, mit der eine Fähigkeit in der jeweiligen Branche vorkommt. Alle Benchmarks werden nach eigenen Angaben unabhängig von Artificial Analysis durchgeführt.

Claude Fable 5 führt alle acht Indizes an

Anthropics Claude Fable 5 (mit Opus 4.8 Fallback) belegt in allen acht Indizes den ersten Platz. Claude Opus 4.8 (max) folgt laut Artificial Analysis auf Rang zwei in sechs von acht Kategorien, GPT-5.5 (xhigh) von OpenAI erreicht den zweiten Platz in den verbleibenden zwei Indizes. Das morgen erscheinende GPT-5.6 dürfte die Lücke zwischen den aktuellen Anthropic-Modellen und GPT-5.5 schließen.

Unterhalb der Spitze verschieben sich die Rankings je nach Domäne erheblich. Googles Gemini 3.5 Flash, Gemini 3.1 Pro Preview, OpenAIs GPT-5.5 (xhigh), Anthropics Claude Sonnet 5 (max) und das chinesische GLM-5.2 (max) wechseln sich je nach Aufgabe auf den Plätzen dahinter ab.

Unter den Open-Weights-Modellen führt GLM-5.2 (max) in fünf der sechs Branchen-Indizes. Mit 53 Punkten erreicht GLM-5.2 (max) im Engineering-Benchmark den fünften Gesamtrang und liegt nur zwei Punkte hinter Claude Sonnet 5 (max) und GPT-5.5 (xhigh), die jeweils 55 Punkte erzielen. Im Strategy & Ops Index übernimmt Deepseek V4 Pro (max) mit 38 Punkten die Open-Weights-Führung.

Die Ergebnisse von Artificial Analysis decken sich mit den aktuellen Daten von LMArena, einer unabhängigen Plattform, die Modelle auf Basis von Blind-Vergleichen durch Millionen realer Nutzer bewertet. Dort belegt Claude Fable 5 laut dem Leaderboard-Snapshot vom 7. Juli ebenfalls den ersten Platz in der Text Arena, der Code Arena und der Agent Arena. Anthropic ist damit das einzige Labor, das alle drei zentralen Kategorien anführt.

In der Agent Arena liegt Fable 5 16,58 Prozent über dem Modelldurchschnitt, deutlich vor OpenAIs GPT-5.5 xHigh mit 8,66 Prozent und Z.ais GLM 5.2 mit 6,62 Prozent. OpenAI liegt in der Text Arena auf Rang 10, Google auf Rang 7. DeepSeek rangiert in der Text Arena auf Platz 38.

Etwas mehr Qualität hat einen viel höheren Preis

Doch Qualität kostet, und das gilt besonders bei den Frontier-Modellen von Anthropic. DeepSeek V4 Flash (max) erledigt laut der Kostenanalyse Aufgaben in allen sechs Indizes für weniger als 0,04 Dollar pro Aufgabe und erzielt dabei Ergebnisse im Mittelfeld. GLM-5.2 (max) bietet die beste Open-Weights-Leistung bei Kosten zwischen 0,26 und 0,58 Dollar pro Aufgabe.

Claude Fable 5 hingegen kostet im Strategy & Ops Index 3,48 Dollar pro Aufgabe und damit über das Hundertfache von DeepSeek V4 Pro (max) mit 0,03 Dollar, bei einem Vorsprung von lediglich 12 Punkten. Auch ein vorheriger Benchmark zeigte bereits den drastischen Aufpreis für Fable 5 bei vergleichsweise geringem Leistungszuwachs.

Die Frage, ob dieser Unterschied den Aufpreis rechtfertigt, dürfte für Unternehmen eine zentrale Entscheidungsgrundlage sein. Denkbar ist auch ein Zusammenspiel der Modelle: Leistungsfähige Orchestrator-Modelle lassen Aufgaben von günstigeren Arbeitermodellen erledigen, die ein besseres Preis-Leistungs-Verhältnis bieten.

Zudem dienen Frontier-Modelle häufig der initialen Exploration, ob eine Aufgabe von Sprachmodellen überhaupt lösbar ist. Ist das der Fall, wird anschließend geprüft, welches günstigere Modell die Aufgabe noch ausreichend gut bewältigt.

Es gibt auch Stimmen, etwa der US-Ökonom und LLM-Fan Ethan Mollick, die behaupten, dass der Leistungssprung eines Modells wie Fable 5 von bisherigen Benchmarks schlicht noch nicht ausreichend gemessen werden kann. Belege dafür gibt es bislang allerdings keine.

Alle Indizes mit den vollständigen Gewichtungen und Benchmark-Komponenten sind auf der Artificial Analysis Website einsehbar. Dort ist auch die Methodik dokumentiert.