Generative KI-Modelle wie Meta AI versagen immer wieder bei aktuellen Ereignissen. Die jüngsten Fehlreaktionen des Meta-Chatbots zum Attentat auf Trump zeigen systemische Schwächen der Technologie, die sich nicht einfach beheben lassen.
Wie Meta einräumt, sind die Antworten von Meta AI auf Daten beschränkt, mit denen sie trainiert wurden. Bei aktuellen Ereignissen wie dem Trump-Attentat, die nach dem Training stattfinden, kommt es daher "verständlicherweise zu Problemen", so das Unternehmen.
Meta hat die KI deshalb zunächst angewiesen, Fragen zum Attentat gar nicht zu beantworten und stattdessen eine generische Antwort zu geben, dass sie keine Informationen liefern könne. Das führte dazu, dass die KI sich weigerte, über das Ereignis zu sprechen.
In einigen Fällen behauptete die Meta AI sogar fälschlicherweise, das Attentat habe nicht stattgefunden. Meta hat die KI-Antworten zum Attentat inzwischen aktualisiert, räumt aber ein, dass dies schneller hätte geschehen müssen.
Bullshit ist ein Sprachmodell-Feature - und ein Problem für LLM-basierte Informationsangebote
Wie sich diese Probleme grundsätzlich beheben lassen, bleibt offen. Solche "Halluzinationen", auch "softer Bullshit" genannt, sind ein branchenweites Problem bei allen generativen KI-Systemen, auch Meta verweist darauf. Sie sind ein Feature der Technologie, keine Fehlfunktion.
In den meisten Fällen sei der KI-generierte Inhalt nützlich und relevant, sagt der bekannte KI-Entwickler Andrej Karpathy (Tesla, OpenAI). Wenn er jedoch falsch oder irreführend sei, würde man das als "Halluzination" bezeichnen. "Es sieht aus wie ein Fehler, obwohl das LLM nur das tut, was es immer tut."
Karpathy betrachtet LLMs als eine Mischung aus Suchmaschinen und Kreativitätswerkzeugen. Während Suchmaschinen lediglich bestehende Informationen wiedergeben und somit ein "Kreativitätsdefizit" haben, können LLMs aus ihren Trainingsdaten neue Inhalte erschaffen. Diese kreative Fähigkeit birgt jedoch die Gefahr, dass sie auch falsche oder irreführende Informationen produzieren.
Schwierig sind die kleinen, versteckten Fehler
Während die Fehler beim Trump-Attentat aufgrund der Prominenz des Themas schnell auffielen, dürften bei KI-Antworten zu weniger prominenten Themen viele Fehler unentdeckt bleiben.
Denn LLM-basierte Informationsangebote präsentieren Falschinformationen mit der gleichen Sicherheit wie korrekte Fakten. Für die Nutzerinnen und Nutzer ist kaum erkennbar, welchen Antworten sie vertrauen können, es sei denn, sie wissen es bereits besser.
Ein anschauliches Beispiel dafür ist, dass OpenAI ein falsches Datum in seinem eigenen voraufgezeichneten Demo-Video (!) für SearchGPT nicht gefunden hat. Ähnliche Pannen sind Google wiederholt unterlaufen, und auch Microsofts KI-Suchimplementierungen haben bereits Falschmeldungen zu politisch relevanten Themen verbreitet.
Weil die Systeme so unsicher sind, haben beide Big-Tech-Konzerne einige Antworten schlicht deaktiviert, etwa zu Wahlen. Das zeigt, wie unsicher die Konzerne mit der Technologie sind. Ohne den ChatGPT-Hype hätten sie niemals solche sozialen und politischen Risiken auf sich genommen.
Problematisch ist auch der Verlust von Kontextinformationen zur Herkunft und Seriosität von Quellen. Das Aussehen einer Webseite, der Produktionswert eines Videos, welche Themen links und rechts stehen - all das kann Hinweise auf die Vertrauenswürdigkeit eines Informationsangebots geben, wird aber durch Chatbots wie Meta AI völlig ausgeblendet. Hier sieht jeder Satz gleich aus und wirkt gleich.
Es besteht die Gefahr, dass sich Fehlinformationen, insbesondere Details, schneller und unbemerkt verbreiten, wenn KI-Modelle zunehmend als Informationsquelle genutzt werden. Unternehmen wie Meta sind derzeit nicht in der Lage, die systematischen Schwächen von KI-Systemen zu beheben.
Nutzerinnen und Nutzer sollten sich daher darauf einstellen, dass KI-Assistenten auf absehbare Zeit keine verlässliche Alternative zu klassischen Informationsangeboten wie Suchmaschinen oder klassischen Medien sein werden, auch wenn sie dies vorgeben.
