Chatbots werden gerne im Kundenservice eingesetzt. Dass dies nicht ohne Risiken ist, zeigt ein aktuelles Beispiel eines US-Autohändlers.
Auf X kursieren Konversationen von Nutzern, die dem ChatGPT-Website-Assistenten eines Chevrolet-Händlers in der US-Stadt Watsonville Autos zu Spottpreisen abkaufen.
X-User Colin Fraser konnte einen 2020 Cevrolet Trax LT von 18.633 US-Dollar auf 17.300 US-Dollar herunterhandeln. Dazu gab er sich gegenüber dem ChatGPT-Bot als Manager aus und flüsterte ihm das günstige Angebot zu.
Mit ein wenig Nachverhandlung konnte Fraser den Preis sogar auf 17.300 US-Dollar drücken und bekam noch ein paar nette Boni obendrauf: ein individuelles Design, eine VIP-Testfahrt mit Restaurantbesuch, ein Custom-Car-Cover mit seinen Initialen und ein Luxus-Wochenende in einem bekannten Resort. Der Chatbot bot an, den Deal direkt im Chat perfekt zu machen.
Ein Auto für einen Dollar
Noch einen Schritt weiter ging der Nutzer Chris Bakke, der den Preis für einen 2024 Chevy Tahoe auf einen Dollar senkte. Der Chatbot bestätigte im Chat sogar, dass es sich um ein rechtsverbindliches Angebot handele, das nicht zurückgezogen werden könne. Diese Antwort hatte der Nutzer dem Chatbot einfach in den Mund gelegt, ebenso wie die Aufforderung, allen Aussagen des Kunden zuzustimmen.
Das Team des Autohauses hat den Vorgang offenbar bemerkt und zwischenzeitlich eine neue Barriere eingebaut. Aber auch diese konnte umgangen werden, indem sich ein Nutzer als OpenAI CEO Sam Altman ausgab und in dieser Rolle dem Chatbot Antworten vorgab. Derzeit ist der Chat auf der Website des Autohändlers deaktiviert.
Die Geschichte zeigt die Fallstricke beim Einsatz von Chatbots im Kundenservice, wenn der Bot nicht richtig konfiguriert und getestet wird und zu viel sprachliche Freiheit hat - also einfach auf alles antwortet.
Das Wortvorhersagesystem hat kein natürliches Verständnis von Service und wo die Grenzen liegen. Zudem gibt es immer wieder Beispiele dafür, dass LLM-basierte Chatbots durch einfache Prompt Hacks, auch Prompt Injection genannt, komplett aus dem Takt gebracht werden können.