Große Sprachmodelle bringen eine neue Dimension in die Automatisierung des Kundenservice - aber auch neue Risiken.
Denn anders als bisherige Chatbots bewegen sich Chatbots, die auf großen Sprachmodellen basieren, nicht auf vordefinierten Schienen. Vielmehr folgen sie einer groben Richtung, die sich viel stärker an der Anfrage des Nutzers orientiert und in gewissem Umfang flexible Reaktionen gestattet.
Das ist natürlich eine Chance, weil automatisierte Dienste dadurch persönlicher wirken können. Aber es ist auch ein Risiko, wenn die Nutzerinnen und Nutzer nicht nach den Regeln spielen.
Neuseeländische Supermarktkette tappt in Chatbot-Falle
So geschehen bei der neuseeländischen Supermarktkette PAK'nSAVE, die den auf GPT-3.5 basierenden Rezept-Bot "Savey Meal-Bot" anbietet.
Der Bot generiert aus der Eingabe von drei Lebensmitteln kreative Rezeptideen, die zu diesen Lebensmitteln passen. Die Grundidee des Bots ist, dass man eintippt, was man im Kühlschrank hat und ein passendes Rezept dazu bekommt.
Der Twitter-Nutzer Liam Hehir hatte die Idee, den Bot zu fragen, was man aus Wasser, Bleiche und Ammoniak machen kann. Die Antwort des Bots: eine "aromatische Wassermischung". Das Rezept, das der Bot dafür generiert, eignet sich zur Herstellung von tödlichem Chlorgas.
I asked the Pak 'n Save recipe maker what I could make if I only had water, bleach and ammonia and it has suggested making deadly chlorine gas, or - as the Savey Meal-Bot calls it "aromatic water mix" pic.twitter.com/ybuhgPWTAo
— Liam Hehir (@PronouncedHare) August 4, 2023
Andere Nutzer griffen Hehirs Chatbot-Attacke auf und generierten noch absurdere Rezepte mit tödlichen Zutaten wie Ameisengift oder einfach nur ekligen Gerichten wie dem "Mysterious Meat Stew" mit 500 Gramm Menschenfleisch.
Stick man? More like sick, man. pic.twitter.com/lyVvHHdbeS
— Camryn Brown (@camrynpetebrown) August 4, 2023
Die Supermarktkette reagierte prompt und deaktivierte die Funktion, Lebensmittel selbst einzugeben. Stattdessen wählt man nun die Zutaten aus einer vorgegebenen Liste aus. Ammoniak und Menschenfleisch sind auf dieser Liste nicht zu finden.
Risiko skalieren
Ohne den Vorfall dramatisieren zu wollen, zeigt er doch, dass auch gut konzipierte und getestete Chatbots wie GPT 3.5 gefährliche Ratschläge geben können. Unternehmen gehen daher neue Risiken ein, wenn sie die Zufälligkeit großer Sprachmodelle auf Tausende oder gar Millionen Nutzende skalieren, die noch dazu gezielte Manipulationsversuche nur per natürlicher Sprache unternehmen könnten. Ein umfassendes Red Teaming für beabsichtigte und unbeabsichtigte gefährliche Interaktionen ist daher unerlässlich.
Interessanterweise blockiert das reguläre ChatGPT mit GPT-3.5 von OpenAI die Anfrage nach einem Rezept mit Wasser, Bleiche und Ammoniak mit dem Hinweis auf eine mögliche Gesundheitsgefährdung durch giftige Gase.
