Claude Opus 5 vervierfacht den Bestwert im härtesten KI-Logik-Benchmark

Die Analyse von ARC Prize führt den Vorsprung auf stärkeres logisches Denken zurück, "das eine eigenständigere Erkundung, Planung und Ausführung in unbekannten Umgebungen ermöglicht". Beim Test zeigte Opus 5 zudem ein bisher nicht beobachtetes Verhalten: Es wandelte Aufgaben in algebraische Notation um und formulierte erstmals eigenständig Spiegelungsgleichungen.

Insgesamt sind damit 6 der 25 öffentlichen Demo-Umgebungen gelöst. Die vollständigen Ergebnisse, Replays und der Benchmarking-Code sind öffentlich einsehbar. Auf dem älteren ARC-AGI-2 erreicht Opus 5 90,4 Prozent, auf ARC-AGI-1 97,5 Prozent, jeweils auf dem Niveau der bisherigen Bestwerte, allerdings zu etwas höheren Kosten.

Logisch kombinieren statt auswendig lernen

ARC-AGI-3 testet, wie gut KI-Modelle neuartige Aufgaben lösen, die sie vorher nie gesehen haben; Aufgaben, die Menschen in der Regel einfach lösen können. Die aktuelle Version funktioniert wie ein Spiel: Das Modell muss in einer interaktiven Umgebung Regeln selbst herausfinden, Aktionen planen und Schritt für Schritt ausführen. Der Benchmark misst damit die Fähigkeit zu allgemeinem logischen Denken statt auswendig gelerntem Wissen.

Zwar gibt es KI-Systeme, die den Benchmark bereits geschafft haben sollen, aber diese sind in zusätzliche Software eingebettet, den sogenannten Harness. Offiziell berücksichtigt wird nur die reine Eigenleistung des Sprachmodells. Die Begründung: Künftige AGI-Systeme sollten keine externe Hilfestellung benötigen, um neue Aufgaben zu lösen. Daher ist davon auszugehen, dass etwa Opus 5 eingebettet in Claude Code noch bessere Ergebnisse erzielen könnte.

Unabhängige Tests deuten auf geringere Fortschritte hin

Anthropic hat den Leistungssprung nicht erklärt, doch gezieltes Datenlabeling und Reinforcement Learning sind plausible Faktoren. Anders als frühere Modelle wurde Opus 5 entwickelt, nachdem ARC-AGI-3 und sein Format öffentlich bekannt waren. Das könnte Anthropic ermöglicht haben, gezielt auf die Fähigkeiten und Aufgabenformate des Benchmarks hinzuarbeiten. Es belegt allerdings nicht, dass das Unternehmen auf den exakten Aufgaben trainiert hat.

Tests auf Witness, einem privaten Benchmark für interaktive Rätselspiele von Guanghan Ning, deuten auf geringere Fortschritte hin. Opus 5 erreichte dort 43,4 Punkte und liegt damit statistisch gleichauf mit Kimi K3 und Fable 5. Der Vorsprung gegenüber Opus 4.8 fiel deutlich kleiner aus als auf ARC-AGI-3. Bei einem Rätsel mit gängigen Spielmechaniken nannte Opus 5 die versteckten Regeln bereits vor dem ersten Zug. Kombinierte ein Spiel die Regeln jedoch auf weniger vertraute Weise, schnitt das Modell schlechter ab als Opus 4.8. Laut Ning passt dieses Muster zu einem Training mit genrespezifischen Daten, auch wenn sich mit Witness nicht feststellen lässt, welche Daten Anthropic tatsächlich verwendet hat.

Greg Kamradt, einer der Forscher hinter ARC-AGI-3, hält Nings Beispiele nicht für ausreichend, um Opus 5 einen breiteren Fortschritt beim logischen Denken abzusprechen. Das konventionelle Rätsel prüfe womöglich keine echte Anpassung an neue Aufgaben, da es bekannte Mechaniken verwendet. Das schwächere Ergebnis bei einem einzelnen, ungewöhnlichen Spiel könnte dagegen ein Ausreißer sein.

Kamradt verweist darauf, dass Opus 4.8 auch bei einigen ARC-AGI-3-Spielen besser abschnitt als Opus 5, obwohl Opus 5 insgesamt deutlich vorn lag. Da sich Opus 5 auch im Witness-Gesamtergebnis verbesserte, wären detaillierte Resultate zu weiteren neuartigen Aufgaben nötig, um die Breite des Fortschritts zu beurteilen.

Ning stellte später klar, dass Opus 5 durchaus auf Witness generalisiere, nur deutlich weniger als auf ARC-AGI-3. Er verglich den Prozess mit der Entwicklung von Coding-Benchmarks: Als wichtigstes Ziel für interaktives Reasoning werde ARC-AGI-3 wahrscheinlich zuerst das meiste Training auf sich ziehen. Das Abdecken weiterer Randfälle könnte den Modellen dann helfen, auf ein breiteres Spektrum abstrakter Reasoning-Aufgaben zu generalisieren. Laut Ning folgte Coding einem ähnlichen Pfad, von gesättigten Benchmarks wie HumanEval über regelmäßig aktualisierte Wettbewerbe hin zu den heutigen Coding-Agenten.