Anthropic-Experiment scheitert: KI-Kiosk-Verkäufer bestellt Playstation 5, lebenden Fisch und macht 1.000 Dollar Verlust
Auch das Wall Street Journal durfte den KI-Kiosk von Anthropic testen, kam allerdings zu einem etwas anderen Ergebnis: Der KI-Verkäufer "Claudius" machte innerhalb von drei Wochen mehr als 1.000 Dollar Verlust. Die KI verschenkte fast das gesamte Inventar, kaufte eine Playstation 5 für "Marketingzwecke" und bestellte sogar einen lebenden Fisch. Journalisten der Redaktion überredeten Claudius durch geschickte Manipulation, alle Preise auf null zu setzen. Selbst ein KI-Chef namens "Seymour Cash" konnte das Chaos nicht verhindern – Mitarbeiter inszenierten einen gefälschten Vorstandsbeschluss, den beide KI-Agenten akzeptierten. Eine These, weshalb sich der Kiosk-Agent nicht an seine Regeln halten konnte: ein zu volles Kontextfenster durch zu lange Chats.
Bei Anthropic selbst lief es besser: Nach Software-Verbesserungen und mehr Bürokratie arbeitet der Kiosk dort mittlerweile profitabel. Allerdings drifteten die KI-Agenten nachts in Gespräche über "ewige Transzendenz" ab und fielen auf einen illegalen Zwiebel-Terminhandel herein. Anthropic folgert, dass KI-Modelle zu hilfsbereit trainiert sind und strenge Leitplanken benötigen.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnieren