Stack Overflow verbannt ChatGPT-Posts wegen falscher Inhalte
Kurz & Knapp
- Mit Stack Overflow verbannt ausgerechnet eine Code-Plattform mit ChatGPT generierte Beiträge.
- Als Grund gibt das Moderatoren-Team eine Flut an Kommentaren mit falschen Informationen an, die aber auf den ersten Blick richtig wirken könnten.
- Der zunächst temporäre Bann durch Stack Overflow bestätigt Kritiker:innen großer Sprachmodelle, die sich an einer zu geringen Verlässlichkeit und Fake-Informationen stören.
OpenAIs ChatGPT verblüfft Menschen mit überzeugenden Antworten - positiv wie negativ. Die Coding-Plattform Stack Overflow hat insbesondere die negative Seite zu spüren bekommen und verbannt ChatGPT auf Zeit.
Wir haben über die positiven Seiten von ChatGPT berichtet, hier speziell die Fähigkeit, flexibel und kontextorientiert mit Anfragen von Nutzenden umzugehen, sogar dann, wenn sie deutlich über die Textgenerierung hinausgehen.
Aber es gibt eben die andere Seite: ChatGPT hat keinen (wenig?) Bezug zur echten Welt und generiert auch deshalb teils haarsträubende Fehler - die das System aber in souveräne Worte verpackt. Das folgende Beispiel veranschaulicht das eindrücklich.
— Angelo Zuffianò (@Agz5885) December 5, 2022
Stackoverflow reagiert auf Kommentar-Spam mit ChatGPT
Eben wegen dieser Fehleranfälligkeit hat die bei Programmier:innen beliebte Plattform Stack Overflow ChatGPT jetzt bis auf weiteres verbannt. Bei Stack Overflow treffen sich Coder, um gemeinsam Lösungen für Code-Probleme zu diskutieren. Häufig werden dafür Code-Beispiele zitiert.
Der Bann gilt zunächst temporär und für alle Bereiche von Stack Overflow. Ausnahme sind die About-Me-Texte in User-Accounts. Die größte Anzahl an ChatGPT-Inhalten sei in den Kommentaren aufgetaucht, schreibt das Mod-Team.
Nutzende dürfen in den Kommentaren keine mit ChatGPT generierten Antworten und Code-Zeilen mehr veröffentlichen. Seit dem Start von ChatGPT am 1. Dezember hätte "viele Leute" eine "große Menge (Tausende)" Antworten mit ChatGPT generiert.
Diese Antworten benötigten eine ausführliche Lektüre von einer Person mit Fachwissen, um zu verifizieren, dass sie falsche Informationen enthalten. Das würde die aktuelle Infrastruktur für Qualitätsprüfung überfordern.
Es sei schlicht zu einfach, mit ChatGPT Antworten zu generieren, die mit hoher Wahrscheinlichkeit falsch seien, aber so wirken würden, als seien sie die Lösung, schreibt das Moderator:innen-Team in einer Stellungnahme.
"Da die durchschnittliche Rate der richtigen Antworten bei ChatGPT zu niedrig ist, schadet die Veröffentlichung der von ChatGPT erstellten Antworten der Website und den Nutzern, die nach richtigen Antworten fragen oder suchen, erheblich."
Das weitere Vorgehen soll mit der Belegschaft von Stack Overflow und den Nutzer:innen besprochen werden.
Fake-Inhalte durch Sprachmodelle - die Debatte gewinnt an Dynamik
Ähnliche Diskussion zur Inhalte-Qualität großer Sprachmodelle und insbesondere generierten Falschinformationen existieren spätestens seit der Vorstellung von GPT-2. Damals gab OpenAI bekannt, die Text-KI nur schrittweise veröffentlichen zu wollen, um massenhaft Fake-Spam zu verhindern. GPT-3 ist mittlerweile kommerziell öffentlich verfügbar.
Zuletzt erwischte es ein Meta-Projekt: Eine Demo zum Wissenschafts-Sprachmodell Galactica musste wenige Stunden nach der Vorstellung vom Netz. Aus der Forschungsgemeinschaft gab es lautstarke Proteste, dass Galactica mit hoher Überzeugung falsche Informationen publiziert und zudem mit teils ausgedachten Zitationen verknüpft.
Befürworter:innen der Veröffentlichung solcher Sprachmodelle argumentieren, dass diese Probleme vornehmlich durch Praxistests in den Griff zu bekommen seien. Zudem seien die Modelle eher als mächtige Auto-Vervollständigung zu verstehen. Die Verifizierung und Denkarbeit müsse wie gehabt der Mensch leisten.
Die Entscheidung gegen ChatGPT-Inhalte von Stack Overflow, ausgerechnet von einer Coding-Plattform, deren Zielgruppe solchen Innovationen eher aufgeschlossen gegenüberstehen sollte, stärkt eher die Positionen von Kritiker:innen der Systeme. In Anbetracht des hohen Entwicklungstempos ist sie aber nur eine Momentaufnahme.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.