Eine neue Untersuchung des Tow Center for Digital Journalism zeigt massive Probleme bei ChatGPTs Suchfunktion. Der Chatbot erfindet Quellen und zitiert Verlage falsch - auch solche, die Verträge mit OpenAI haben.
Das Tow Center for Digital Journalism der Columbia Journalism School hat in einer umfangreichen Analyse schwerwiegende Mängel bei ChatGPTs neuer Suchfunktion festgestellt. Laut der Studie lieferte der Chatbot bei 153 von 200 getesteten News-Zitaten falsche oder teilweise falsche Quellenangaben.
Die Forscher testeten dabei Inhalte von 20 verschiedenen Verlagen, darunter sowohl Partner von OpenAI als auch Verlage, die ihre Inhalte für den ChatGPT-Crawler gesperrt haben. In nur sieben Fällen gab ChatGPT zu, eine Quelle nicht finden zu können.
"Der Chatbot erfindet lieber eine Antwort, als zuzugeben, dass er keinen Zugriff auf die Information hat", schreiben die Forscher. Besonders problematisch: ChatGPT präsentiert auch falsche Quellenangaben mit hoher Überzeugung und ohne Hinweise auf mögliche Unsicherheiten.
Auch OpenAI-Partner sind betroffen
Die Untersuchung zeigt, dass selbst Verlage mit OpenAI-Lizenzverträgen und aktiviertem Crawler von Fehlzuordnungen betroffen sind. So wurden Inhalte der New York Post und The Atlantic häufig falsch zitiert oder falsch dargestellt.
Noch bedenklicher: In einigen Fällen verwies ChatGPT auf plagiierte Inhalte statt auf die Originalquellen. Bei einem New York Times-Artikel verlinkte der Chatbot auf eine Website, die den kompletten Artikel ohne Quellenangabe kopiert hatte.
"Als Verleger ist das nichts, was man sehen möchte", wird Mat Honan, Chefredakteur der MIT Technology Review, zitiert. "Aber es gibt so wenig Möglichkeiten, dagegen vorzugehen."
OpenAI reagiert ausweichend
Konfrontiert mit den Ergebnissen, verwies OpenAI laut der Studie darauf, dass ChatGPT wöchentlich 250 Millionen Nutzer zu qualitativ hochwertigen Inhalten führe. Das Unternehmen arbeite mit Partnern zusammen, um die Genauigkeit von Zitaten zu verbessern.
Die Forscher kommen zu dem Schluss, dass Verlage derzeit keine Möglichkeit haben, eine korrekte Darstellung ihrer Inhalte in ChatGPT Search sicherzustellen - unabhängig davon, ob sie mit OpenAI kooperieren oder nicht.
Alle Ergebnisse sind auf GitHub verfügbar.
