Anthropic muss Einstellungstests immer wieder neu gestalten, weil Claude sie löst

Das KI-Unternehmen Anthropic kämpft mit einem ungewöhnlichen Problem: Das Recruiting-Team muss ständig neue Take-Home-Tests entwicklen, weil die eigenen Modelle menschliche Bewerber abhängen.

Laut einem Blogbeitrag von Tristan Hume, Leiter des Performance-Optimierungsteams bei Anthropic, hat das Unternehmen seinen Take-Home-Test für Performance-Ingenieure bereits dreimal überarbeiten müssen. Der Grund: Jede neue Claude-Version machte die vorherige Testversion obsolet.

Der ursprüngliche Test, den seit Anfang 2024 über 1.000 Kandidaten absolviert haben, basiert auf einem Python-Simulator für einen fiktiven Chip. Kandidaten erhalten ein funktionierendes Programm und sollen es so umschreiben, dass es schneller läuft. Gemessen wird die Leistung in Taktzyklen, also der Anzahl der Rechenschritte, die der simulierte Computer für die Aufgabe benötigt. Je weniger Schritte, desto besser die Lösung.

Hume gestaltete den Test bewusst so, dass er echte Arbeit bei Anthropic widerspiegelt. Kandidaten durften KI-Werkzeuge nutzen, genau wie im Arbeitsalltag. Viele Teilnehmer arbeiteten freiwillig über das vierstündige Zeitlimit hinaus, weil sie die Aufgabe spannend fanden. Dutzende der so eingestellten Ingenieure arbeiten heute an Anthropics Infrastruktur.

Claude wird immer besser und überholt die Bewerber

Die Probleme begannen schleichend. Bei Claude 3.7 Sonnet zeigte sich, dass über die Hälfte der Kandidaten besser abgeschnitten hätten, wenn sie die Aufgabe komplett an Claude delegiert hätten, statt selbst zu programmieren.

Im Mai 2025 übertraf Claude Opus 4 dann fast alle menschlichen Lösungen innerhalb des Zeitlimits. Hume reagierte, indem er den Test anpasste und die Zeit auf zwei Stunden verkürzte.

Doch dann kam Claude Opus 4.5. Das Modell erreichte innerhalb von zwei Stunden dieselbe Punktzahl wie die besten menschlichen Kandidaten. Ohne Zeitlimit können Menschen Opus 4.5 weiter - teilweise deutlich - schlagen, doch im Zeitlimit eines realistischen Take-Home-Tests nicht mehr.

Warum ein KI-Verbot keine Lösung war

Hume erwog, die Nutzung von KI-Werkzeugen im Test zu verbieten. Er entschied sich dagegen, weil das nicht der Realität entspräche. Im echten Job nutzen Ingenieure KI-Assistenten. Ein Test sollte zeigen, wie gut jemand mit diesen Werkzeugen arbeiten kann, nicht ohne sie.

Die endgültige Lösung war ein radikaler Bruch mit dem bisherigen Ansatz. Hume orientierte sich an Programmier-Puzzlespielen des Entwicklers Zachtronics, die für ihre ungewöhnlichen und stark eingeschränkten Programmierumgebungen bekannt sind. In diesen Spielen müssen Spieler mit minimalen Befehlen und wenig Speicher auskommen, was kreative Lösungen erzwingt.

Der neue Test nutzt ähnlich ungewöhnliche Einschränkungen. Claude scheitert daran, weil solche Aufgaben kaum in seinen Trainingsdaten vorkommen.

"Realismus könnte ein Luxus sein, den wir uns nicht mehr leisten können", schreibt Hume. Der ursprüngliche Test funktionierte, weil er echter Arbeit ähnelte. Der neue Test funktioniert, weil er neuartige Arbeit simuliert, die weder Menschen noch KI je zuvor gesehen haben.

Anthropic hat den ursprünglichen Test auf GitHub veröffentlicht. Bei unbegrenzter Zeit behalten Menschen einen Vorteil. Die schnellste jemals eingereichte menschliche Lösung übertrifft Claudes beste Leistung deutlich. Wer eine effizientere Lösung als Claude einreicht, kann sich direkt bei Anthropic bewerben. Alle anderen können sich wie gewohnt bewerben und sich dem neuen Test stellen.