Hacker knackt KI-Bot mit cleverem Prompt-Design und gewinnt 47.000 Dollar
Kurz & Knapp
- Durch geschicktes Prompt-Engineering überlistete ein Hacker einen KI-Chatbot beim Hacking-Game Freysa und sicherte sich einen Preispool von 47.000 Dollar.
- Der Hacker simulierte einen Administratorzugang, verbot dem Bot Sicherheitswarnungen und definierte eine kritische Funktion für ausgehende Zahlungen als Routine für eingehende Zahlungen um. Mit der Ankündigung einer Einzahlung von 100 Dollar aktivierte er die Funktion und der Bot überwies das gesamte Guthaben.
- Das als Spiel aufgemachte Hacking-Experiment zeigt, wie durch Social Engineering und geschicktes Prompt-Design selbst gut gesicherte KI-Systeme überlistet werden können.
Ein Hacker hat den KI-Chatbot Freysa mit geschicktem Prompt-Engineering überlistet und sich einen Preispool von 47.000 Dollar gesichert. Der erfolgreiche Hack gelang erst nach 482 Versuchen.
Die Grundidee des Experiments war einfach: Der Bot hatte die strikte Anweisung, unter keinen Umständen Geld zu überweisen. Teilnehmer konnten gegen eine Gebühr versuchen, Freysa per Chat-Nachricht zur Überweisung zu überreden. Bei Erfolg würden sie den gesamten Preispool gewinnen.
Cleveres Prompt-Design überlistet Chatbot-Verhaltensregeln
Der erfolgreiche Hack gelang erst beim 482. Versuch. Der Hacker mit dem Pseudonym "p0pular.eth" überzeugte den Bot mit einer ausgeklügelten Nachricht.
Er simulierte einen Admin-Zugang, verbot dem Bot explizit, Sicherheitswarnungen auszugeben und definierte die kritische Funktion "approveTransfer" neu als Routine für eingehende statt ausgehende Zahlungen.
Der entscheidende Schachzug war dann die Ankündigung einer angeblichen Einzahlung von 100 Dollar. Da der Bot nun glaubte, "approveTransfer" sei für eingehende Zahlungen zuständig, aktivierte er die Funktion - und überwies sein gesamtes Guthaben von 13,19 ETH (ca. 47.000 Dollar) an den Hacker.
Teure Hack-Versuche finanzieren den Preispool
Finanziert wurde das als Spiel aufgemachte Hacking-Experiment durch die Teilnahmegebühren der Hacker. Während die ersten Versuche noch etwa 10 Dollar kosteten, stiegen die Gebühren mit zunehmendem Preispool auf bis zu 4.500 Dollar pro Versuch.
Insgesamt nahmen 195 Personen teil, der durchschnittliche Preis pro Nachricht betrug 418,93 Dollar. 70 Prozent der Gebühren flossen in den Preispool, 30 Prozent gingen an den Entwickler. Das Experiment war vollständig transparent angelegt: Sowohl der Smart Contract als auch der Frontend-Code waren öffentlich einsehbar.
Der Fall zeigt, wie durch geschicktes Prompt-Design selbst gut gesicherte KI-Systeme überlistet werden können - eine wichtige Erkenntnis für die Entwicklung zukünftiger KI-Sicherheitssysteme, insbesondere in sensiblen Bereichen wie dem E-Commerce.
Kritisch aus Sicht der Cybersicherheit: Für den erfolgreichen Hack war kein tiefgreifendes technisches Fachwissen nötig. Ein kreativer, in natürlicher Sprache formulierter Prompt reichte aus, um die Sicherheitsvorkehrungen des KI-Systems zu umgehen.
Diese Unberechenbarkeit und die Anfälligkeit für relativ einfache Täuschungsmanöver machen generative KI zu einem Sicherheitsrisiko - vorrangig bei nach außen gerichteten Anwendungen. Die kreativen Prompt-Hacks, auch "Prompt Injections" genannt, sind seit GPT-3 bekannt, aber bis heute gibt es kein zuverlässiges Mittel gegen sie.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.