OpenAI und die Krypto-Investmentfirma Paradigm haben gemeinsam EVMbench entwickelt, einen Testrahmen, der misst, wie gut KI-Agenten Sicherheitslücken in Smart Contracts auf Ethereum-Blockchains finden, reparieren und ausnutzen können. Der Datensatz umfasst 120 Schwachstellen aus 40 echten Sicherheitsprüfungen.

In der realistischsten Testumgebung interagieren die KI-Agenten mit einer lokalen Blockchain und müssen Angriffe vollständig selbst durchführen.

Das beste Modell, GPT-5.3-Codex, schaffte es, 72 Prozent der Schwachstellen erfolgreich auszunutzen und 41,5 Prozent zu reparieren. Beim Erkennen lag Claude Opus 4.6 mit 45,6 Prozent vorn.

Die größte Hürde für die KI-Agenten ist laut den Forschern nicht das Ausnutzen oder Reparieren selbst, sondern das Auffinden der Schwachstellen in großen Codebasen. Bekamen die Agenten Hinweise, wo eine Lücke liegt, stieg die Erfolgsquote beim Ausnutzen von 63 auf 96 Prozent und beim Reparieren von 39 auf 94 Prozent.

Angesichts der über 100 Milliarden Dollar in Smart Contracts sehen die Autoren sowohl Chancen für bessere Sicherheit als auch wachsende Risiken.