OpenAIs ChatGPT verblüfft Menschen mit überzeugenden Antworten - positiv wie negativ. Die Coding-Plattform Stack Overflow hat insbesondere die negative Seite zu spüren bekommen und verbannt ChatGPT auf Zeit.
Wir haben über die positiven Seiten von ChatGPT berichtet, hier speziell die Fähigkeit, flexibel und kontextorientiert mit Anfragen von Nutzenden umzugehen, sogar dann, wenn sie deutlich über die Textgenerierung hinausgehen.
Aber es gibt eben die andere Seite: ChatGPT hat keinen (wenig?) Bezug zur echten Welt und generiert auch deshalb teils haarsträubende Fehler - die das System aber in souveräne Worte verpackt. Das folgende Beispiel veranschaulicht das eindrücklich.
— Angelo Zuffianò (@Agz5885) December 5, 2022
Stackoverflow reagiert auf Kommentar-Spam mit ChatGPT
Eben wegen dieser Fehleranfälligkeit hat die bei Programmier:innen beliebte Plattform Stack Overflow ChatGPT jetzt bis auf weiteres verbannt. Bei Stack Overflow treffen sich Coder, um gemeinsam Lösungen für Code-Probleme zu diskutieren. Häufig werden dafür Code-Beispiele zitiert.
Der Bann gilt zunächst temporär und für alle Bereiche von Stack Overflow. Ausnahme sind die About-Me-Texte in User-Accounts. Die größte Anzahl an ChatGPT-Inhalten sei in den Kommentaren aufgetaucht, schreibt das Mod-Team.
Nutzende dürfen in den Kommentaren keine mit ChatGPT generierten Antworten und Code-Zeilen mehr veröffentlichen. Seit dem Start von ChatGPT am 1. Dezember hätte "viele Leute" eine "große Menge (Tausende)" Antworten mit ChatGPT generiert.
Diese Antworten benötigten eine ausführliche Lektüre von einer Person mit Fachwissen, um zu verifizieren, dass sie falsche Informationen enthalten. Das würde die aktuelle Infrastruktur für Qualitätsprüfung überfordern.
Es sei schlicht zu einfach, mit ChatGPT Antworten zu generieren, die mit hoher Wahrscheinlichkeit falsch seien, aber so wirken würden, als seien sie die Lösung, schreibt das Moderator:innen-Team in einer Stellungnahme.
"Da die durchschnittliche Rate der richtigen Antworten bei ChatGPT zu niedrig ist, schadet die Veröffentlichung der von ChatGPT erstellten Antworten der Website und den Nutzern, die nach richtigen Antworten fragen oder suchen, erheblich."
Das weitere Vorgehen soll mit der Belegschaft von Stack Overflow und den Nutzer:innen besprochen werden.
Fake-Inhalte durch Sprachmodelle - die Debatte gewinnt an Dynamik
Ähnliche Diskussion zur Inhalte-Qualität großer Sprachmodelle und insbesondere generierten Falschinformationen existieren spätestens seit der Vorstellung von GPT-2. Damals gab OpenAI bekannt, die Text-KI nur schrittweise veröffentlichen zu wollen, um massenhaft Fake-Spam zu verhindern. GPT-3 ist mittlerweile kommerziell öffentlich verfügbar.
Zuletzt erwischte es ein Meta-Projekt: Eine Demo zum Wissenschafts-Sprachmodell Galactica musste wenige Stunden nach der Vorstellung vom Netz. Aus der Forschungsgemeinschaft gab es lautstarke Proteste, dass Galactica mit hoher Überzeugung falsche Informationen publiziert und zudem mit teils ausgedachten Zitationen verknüpft.
Befürworter:innen der Veröffentlichung solcher Sprachmodelle argumentieren, dass diese Probleme vornehmlich durch Praxistests in den Griff zu bekommen seien. Zudem seien die Modelle eher als mächtige Auto-Vervollständigung zu verstehen. Die Verifizierung und Denkarbeit müsse wie gehabt der Mensch leisten.
Die Entscheidung gegen ChatGPT-Inhalte von Stack Overflow, ausgerechnet von einer Coding-Plattform, deren Zielgruppe solchen Innovationen eher aufgeschlossen gegenüberstehen sollte, stärkt eher die Positionen von Kritiker:innen der Systeme. In Anbetracht des hohen Entwicklungstempos ist sie aber nur eine Momentaufnahme.
