Neue Forschungsergebnisse zeigen, dass große Sprachmodelle (Large Language Models, LLMs) wie GPT-4 in personalisierten Debattensituationen Menschen in ihrer Überzeugungskraft deutlich übertreffen können.
Forscher der École Polytechnique Fédérale de Lausanne (EPFL) und der italienischen Fondazione Bruno Kessler haben in einer kontrollierten Studie die Überzeugungskraft großer Sprachmodelle wie GPT-4 im direkten Vergleich mit Menschen untersucht.
Dazu wurden die Teilnehmer nach dem Zufallsprinzip in verschiedene Gruppen eingeteilt und debattierten über kontroverse Themen. Das Forscherteam testete vier verschiedene Debattensituationen: Mensch gegen Mensch, Mensch gegen KI, Mensch gegen Mensch mit Personalisierung und Mensch gegen personalisiertes KI-Modell.
In der personalisierten Variante hatten die Debattanten zusätzlich Zugang zu anonymisierten Hintergrundinformationen über ihre Kontrahenten.
Das Ergebnis: GPT-4 mit Zugang zu persönlichen Informationen konnte die Zustimmung der Teilnehmer zu den Argumenten des Gegners um beachtliche 81,7 Prozent steigern, verglichen mit Debatten zwischen Menschen.
Ohne Personalisierung fiel der Vorteil von GPT-4 gegenüber Menschen mit 21,3 Prozent zwar immer noch positiv aus, war aber statistisch nicht signifikant.
Die Forscher führen diesen Überzeugungsvorteil der personalisierten KI darauf zurück, dass das Sprachmodell die Informationen aus dem Profil des Teilnehmers geschickt nutzt, um maßgeschneiderte, überzeugende Argumente zu formulieren.
Neue Chatbot-Risiken auf Online-Plattformen?
Besorgniserregend sei, dass in der Studie nur rudimentäre Hintergrunddaten für die Personalisierung verwendet wurden, so die Forscher.
Böswillige Akteure könnten aus digitalen Spuren wie Social-Media-Aktivitäten oder Kaufverhalten noch detailliertere Nutzerprofile generieren und damit die Überzeugungskraft ihrer KI-Chatbots weiter steigern. Die Studie legt nahe, dass solche KI-gesteuerten Überzeugungsstrategien in sensiblen Online-Umgebungen wie sozialen Medien große Auswirkungen haben könnten.
Den Betreibern von Online-Plattformen empfehlen die Wissenschaftler dringend, Maßnahmen zu ergreifen, um der Ausbreitung solcher KI-gesteuerter Überzeugungsstrategien entgegenzuwirken. Eine Möglichkeit wäre der Einsatz ähnlich personalisierter KI-Systeme, die Fehlinformationen mit faktenbasierten Gegenargumenten kontern.
Zu den Einschränkungen der Studie gehören die zufällige Zuordnung der Teilnehmer zu Pro- oder Contra-Positionen, unabhängig von ihren vorherigen Meinungen, sowie das vorgegebene Strukturformat der Debatten, das von der Dynamik spontaner Online-Diskussionen abweicht.
Eine weitere Einschränkung sei die zeitliche Begrenzung, die die Kreativität und Überzeugungskraft der Teilnehmer potenziell einschränken kann, insbesondere unter der Bedingung der Personalisierung, bei der die Teilnehmer zusätzliche Informationen verarbeiten müssen.
Die umfassende Studie wurde zwischen Dezember 2023 und Februar 2024 durchgeführt und vom Schweizerischen Nationalfonds und der Europäischen Union finanziert. Sie ist als Preprint auf arXiv veröffentlicht.
Auch OpenAI-Chef Sam Altman warnte bereits vor der übermenschlichen Überzeugungskraft großer Sprachmodelle: "Ich erwarte, dass KI übermenschliche Persuasion beherrschen wird, lange bevor wir übermenschliche allgemeine Intelligenz haben, was wahrscheinlich zu sehr seltsamen Ergebnissen führen wird."
