KI erzeugt Scheinkompetenz: Menschen übernehmen eher falsche KI-Antworten, als "Ich weiß es nicht" zu sagen

Da die Ratschläge meist falsch waren, lässt sich der Effekt nicht als sinnvolle Delegation an ein verlässliches Werkzeug erklären. Die Forscher sehen darin dennoch eine Tendenz, sich KI-Antworten zu unterwerfen. Ob das über Filmfragen hinaus ebenso stark gilt, ist offen.

Mehr Antworten, weniger richtige

In den ersten beiden Studien (1a und 1b) konnten Teilnehmer entscheiden, ob sie eine KI um Rat fragen wollten. In der Kontrollgruppe ohne KI-Zugang hielten sie bei 36 beziehungsweise 44 Prozent der Fragen ihr Urteil zurück. Mit KI-Zugang sank dieser Wert auf 6 beziehungsweise 3 Prozent.

In Studie 2 maßen die Forscher zusätzlich die Konfidenz der Teilnehmer. Ohne finanzielle Anreize lag sie mit KI-Zugang bei 75,9 Punkten auf einer Skala bis 100, ohne KI bei 29,6 Punkten, also rund zweieinhalbmal so hoch. Gleichzeitig sank der Anteil richtiger Antworten von 27,6 auf 10,0 Prozent. Die Teilnehmer waren also deutlich überzeugter von ihren Antworten und gleichzeitig deutlich häufiger falsch.

Über die Studien hinweg zusammengefasst lagen Teilnehmer ohne Anreize mit KI-Zugang in 9,2 Prozent der Fälle richtig, ohne KI in 27,5 Prozent. Sie beantworteten mit KI also mehr Fragen, lagen aber nur etwa ein Drittel so oft richtig.

Finanzielle Anreize helfen, lösen das Problem aber nicht

Die Studien 2 bis 4 führten finanzielle Anreize ein: 10 Cent für jede richtige Antwort, minus 10 Cent für jede falsche, nichts für "Ich weiß es nicht". Die Forscher hatten vorab die Hypothese registriert, dass Anreize die Bereitschaft zur Enthaltung erhöhen, die Verfügbarkeit der KI diesen Effekt aber abschwächen würde. Eine solche Wechselwirkung ließ sich in keiner der drei Studien statistisch nachweisen.

Stattdessen wirkten KI-Zugang und finanzielle Anreize laut der Studie weitgehend unabhängig voneinander. Anreize führten dazu, dass Teilnehmer seltener KI-Rat suchten (4,53 statt 5,27 von sechs möglichen Anfragen in Studie 3) und bei verfügbarer KI häufiger richtig antworteten. Die Urteilszurückhaltung stieg mit Anreizen leicht, blieb aber weit unter dem Niveau der Kontrollgruppe ohne KI‑Zugang.

Die Anreize waren zwar wirksam, aber bescheiden, wie die Forscher einräumen. Ob größere oder reputationsbezogene Anreize die Lücke zum Ausgangsniveau stärker schließen würden, ist unbekannt.

In Studie 4 wurde den Teilnehmern die KI-Antwort automatisch angezeigt, ohne dass sie aktiv danach fragen mussten. Dies spiegele eine zunehmend verbreitete Realität wider, in der Suchmaschinen KI-generierte Zusammenfassungen einblenden und Schreibassistenten unaufgefordert Vorschläge machen. Der Effekt blieb laut den Forschern praktisch unverändert: Ohne Anreize sank die Urteilszurückhaltung von 35 Prozent ohne KI auf 1 Prozent mit automatisch angezeigter KI-Antwort, mit Anreizen von rund 39 auf 7 Prozent.

Mehr Vertrauen in KI-Beratung als in Ratschläge anderer Menschen

Die Forscher interpretieren ihre Ergebnisse im Kontext des Konzepts "Epistemia": der Tendenz, KI-Antworten wegen ihrer sprachlichen Plausibilität und Kohärenz zu akzeptieren, statt sie zu überprüfen. Ein Sprachmodell müsse immer eine Antwort produzieren und halte selbst unter Unwissenheit nicht inne. Wenn Nutzer ihr Urteil an ein solches System delegieren, übernehmen sie möglicherweise dessen fehlende Zurückhaltung, schreiben die Autoren.

Die Studie zeigt laut des Forschungsteams noch einen weiteren bemerkenswerten Befund. Aus der Beratungsforschung ist bekannt, dass Menschen fremde Ratschläge normalerweise untergewichten und sich nur etwa ein Drittel des Weges in Richtung eines Beraters bewegen. Die Teilnehmenden dieser Studie taten das Gegenteil.

Die Autoren schließen aus ihren Daten sogar, dass der KI-Zugang einige ursprünglich richtige Antworten in Fehler verwandelte. In den Bedingungen ohne Anreize beantwortete die KI-Gruppe zwar mehr Fragen als die Kontrollgruppe, lieferte aber weniger richtige Antworten.

Das Fazit des Forschungsteams: Da KI-Antworten allgegenwärtig würden und zunehmend auch ungefragt erschienen, könnte die Bereitschaft, "Ich weiß es nicht" zu sagen, zu den ersten Opfern der Interaktion zwischen Mensch und KI gehören. Ob das menschliche Urteilsvermögen mit der Verbreitung von KI-Systemen standfest bleibe, hänge womöglich weniger davon ab, die Modelle genauer zu machen, als davon, dass Menschen die Grenzen ihres eigenen Wissens weiterhin erkennen und danach handeln.

Studienlage: Wie verändert KI das menschliche Denken?

Dass die Nutzung generativer KI einen Einfluss auf menschliche Urteilsfähigkeit und kognitive Fertigkeiten hat, zeichnet sich in einer wachsenden Zahl von Studien ab. Eine Studie der Swiss Business School mit 666 Teilnehmenden zeigt eine starke negative Korrelation zwischen KI-Nutzung und kritischem Denken. Je mehr Menschen KI vertrauen, desto eher delegieren sie kognitive Aufgaben, ein Kreislauf, der das kritische Denken weiter schwächt.

Experimentelle Belege zeigen, dass bereits zehn bis 15 Minuten Arbeit mit einem KI-Assistenten ausreichen, um die Problemlösefähigkeit und Ausdauer in nachfolgenden Aufgaben ohne KI messbar zu senken. Wer die KI hingegen nur für Erklärungen nutzte oder ignorierte, hatte keine Einbußen.

Auch eine Microsoft-Studie kam zu einem ähnlichen Ergebnis. In einem weiteren Papier zeigte Microsoft, dass KI-Nutzung hohe Anforderungen an die Metakognition stellt, also die Fähigkeit, die eigenen Gedanken zu überwachen und zu steuern. Ein höheres Bildungsniveau wirkt als Schutzfaktor.