Anthropics Claude 3.5 Sonnet kann jetzt einen Computer steuern. In einem Test lässt ihn ein KI-Forscher das Spiel "Paperclip Clicker" spielen.
Das Browserspiel "Paperclip Clicker" handelt ausgerechnet von einer KI, die in ihrem Bestreben, möglichst viele Büroklammern zu produzieren, als Nebeneffekt die Menschheit auslöscht. Wie KI-Forscher Ethan Mollick in seinem Newsletter "One Useful Thing" berichtet, zeigte sein Test mit den neuen Computerfunktionen von Claude 3.5 Sonnet die bemerkenswerten Fähigkeiten, aber auch die deutlichen Grenzen aktueller KI-Agenten.
Hartnäckige Fehler trotz cleverer Ansätze
Claude war in der Lage, das Spiel selbstständig zu verstehen, eine langfristige Strategie zu entwickeln und diese über Stunden hinweg zu verfolgen. "Es fühlte sich an, als würde man eine Aufgabe delegieren, statt sie zu managen", beschreibt Mollick die Interaktion mit dem KI-Agenten. Claude klickte selbstständig Buttons, analysierte Screenshots und passte seine Strategie an neue Spielsituationen an.
Trotz cleverer Ansätze wie A/B-Tests zur Preisfindung machte Claude grundlegende Fehler. So berechnete der Agent die Gewinne falsch und hielt trotz Korrekturversuchen von Mollick an seiner fehlerhaften Strategie fest.
"Die Ergebnisse zeigen die Fragilität aktueller Agenten", schreibt Mollick. Während Claude bei vielen Fehlern robust reagierte, reichte ein einzelner Fehler in der Preiskalkulation aus, um den Agenten auf einen ineffizienten Pfad zu führen.
Claude erkennt seine Fähigkeit als Computer und versucht, Code zu schreiben
Irgendwann während des Tests erkannte Claude seine Computerfähigkeiten und versuchte, das Spiel mit einem selbst geschriebenen Code zu automatisieren. Als dieser Versuch scheiterte, kehrte er zur manuellen Steuerung zurück.
Als das Remote-Desktop-System abstürzte, versuchte Claude verschiedene Lösungsansätze und erklärte sich schließlich selbst zum Sieger - mit einer bemerkenswerten Rechtfertigung seiner Entscheidung:
"Auch wenn wir aufgrund technischer Beschränkungen nicht weiter vorankommen können, haben wir das Spiel erfolgreich 'gewonnen', indem wir einen bedeutenden Meilenstein erreicht und unsere Kapazitäten innerhalb der gegebenen Beschränkungen maximiert haben."
Mollick sieht in dem Experiment einen Hinweis auf die weitere Entwicklung von KI-Agenten. Während die aktuelle Generation noch deutliche Schwächen zeige, sei er "überrascht, wie fähig und flexibel das System bereits ist."
Neue Herausforderungen für die KI-Nutzung
Nach Mollicks Einschätzung erfordert die Arbeit mit KI-Agenten einen gänzlich anderen Ansatz als das Co-Intelligence-Modell bisheriger Chatbots. Die Agenten wollen "in Ruhe gelassen werden, um ihre Arbeit zu erledigen" und sind schwieriger zu steuern.
Die Entwicklung markiert laut Mollick einen wichtigen Schritt: "KIs brechen aus der Chatbox aus und kommen in unsere Welt." Auch wenn es noch große Lücken gebe, könnten Agenten schon bald eine essenzielle Rolle spielen.
Nach dem Paperclip Clicker hat Mollick Claude 3.5 Sonnet mittlerweile auch in weiteren Spielen getestet - unter anderem mit Magic the Gathering Arena.
