Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

KI-Text überschwemmt Bildungssysteme und das Internet. Zuverlässige Erkennungswerkzeuge würden mehr Kontrolle ermöglichen. Zwei neue Erkennungssysteme stellen sich vor.

DetectGPT wird von einem Forschungsteam der Stanford University um Eric Mitchell entwickelt. Die Idee ist, dass von einem LLM generierter Text dazu neigt, "Bereiche mit negativer Krümmung der logarithmischen Wahrscheinlichkeitsfunktion des Modells zu besetzen", schreibt das Team. Diese Eigenschaft trete bei vielen großen Sprachmodellen auf.

Ausgehend von dieser Beobachtung definiert der DetectGPT-Ansatz ein neues, auf der Krümmung basierendes Kriterium, um anhand einer Umformulierung im Vergleich zum Originaltext zu beurteilen, ob eine Passage mit einem LLM erzeugt wurde. Einfach ausgedrückt: Sprachgenerierung erfolgt nach einem mathematischen Muster, das DetectGPT identifizieren kann.

Anzeige
Anzeige

Nach Angaben des Forschungsteams klassifiziert ihr Verfahren KI-Text in den getesteten Szenarien mit einer Wahrscheinlichkeit von 95 Prozent und übertrifft bestehende Zero-Shot-Verfahren.

DetectGPT sei zudem bei einigen Datensätzen genauso gut oder deutlich besser als maßgeschneiderte Erkennungsmodelle, die mit Millionen von Beispielen trainiert wurden, schreibt die beteiligte Forscherin Chelsea Finn.

Für diese Leistung benötigt DetectGPT keinen separaten Klassifikator, keinen Vergleichsdatensatz mit realem und generiertem Text und kein explizites Wasserzeichen, wie es bei OpenAI in Entwicklung sein soll. Auch der Computerwissenschaftler Tom Goldstein von der University of Maryland hat vor wenigen Tagen eine wissenschaftliche Arbeit zu Wasserzeichen für große Sprachmodelle vorgelegt, die vielversprechende Erkennungsraten und zahlreiche offene Fragen beschreibt.

Viele Baustellen bei KI-Texterkennung

Trotz der hohen Erkennungsrate hat DetectGPT noch viele Einschränkungen: Unter anderem setzt die Methode voraus, dass die log-Wahrscheinlichkeiten des Modells ausgewertet werden können. API-Modelle wie GPT-3 würden die notwendigen Daten zwar bieten, aber die Auswertung würde Geld kosten, da der verdächtige Text erst durch das Modell verarbeitet werden muss. DetectGPT sei zudem rechenintensiver als andere Methoden.

Überdies gibt es viele Variablen bei der Textgenerierung, wie zum Beispiel die Nachbearbeitung eines KI-Textes durch Menschen, was wohl das häufigste Szenario sein dürfte. Laut Mitchell erreicht die KI-Text-Erkennung noch eine Genauigkeit von 0,9 AUROC (die verwendete Bewertungsskala, entspricht 90 Prozent), wenn 15 Prozent des KI-Textes verändert wurden. Mit zunehmendem Änderungsgrad nimmt die Genauigkeit jedoch kontinuierlich ab.

Empfehlung

Eine weitere offene Frage ist, ob LLMs durch spezielle Prompts dazu gebracht werden können, explizit Text zu erzeugen, der von Detektoren nicht erkannt wird. Dieses Szenario wurde vom DetectGPT-Team nicht untersucht.

GPTZeroX für das Bildungssystem

Auch das Entwicklungsteam von GPTZero stellt ein neues Produkt vor: GPTZeroX ist für das Bildungssystem entwickelt und soll im Vergleich zu bisherigen Versionen auf neuen Erkennungsmodellen basieren. Die Modelle würden ständig erneuert und in letzter Zeit habe es einige Durchbrüche gegeben, schreibt das Team.

GPTZeroX bietet API-Zugang für die Massenverarbeitung von Texten, wertet einen Text als Ganzes aus und kann dabei einzelne KI-Sätze hervorheben. Das System gibt eine Wahrscheinlichkeit aus, mit der ein Text von einer KI erstellt wurde. Eine wissenschaftliche Evaluierung von GPTZero liegt noch nicht vor.

GPTZeroX-Demo. | Video: Edward Tian

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Das System basiert ursprünglich auf der Erkennung von zwei Faktoren, die an menschlichen Autor:innen ausgerichtet sind: Perplexität, die Zufälligkeit in einem Satz, und Impulsivität ("burstiness"), die allgemeine Zufälligkeit aller Sätze in einem Text.

Die These: Bots neigen dazu, einfache Sätze zu generieren, während Menschen sich innerhalb eines Textes unterschiedlich komplex ausdrücken. Der 22-jährige Erfinder von GPTZero, Edward Tian, studiert in Princeton Computerwissenschaften und im Nebenfach Journalismus.

KI-Text-Detektoren sind eine Hilfe, keine Lösung

Abgesehen von den oben genannten offenen Fragen bezüglich der Zuverlässigkeit gibt es weitere gute Gründe, warum insbesondere das Bildungssystem KI-Textdetektoren nicht als Lösung für ein mögliches Problem mit KI-Plagiaten betrachten sollte.

Der wichtigste Grund ist, dass es legitime Zwecke für die Verwendung von Sprachmodellen beim Schreiben gibt, wie Übersetzungen und stilistische Verbesserungen. Neuere Modelle wie DeepL Write gehen dazu über, ganze Absätze nach gängigen Stilregeln zu optimieren. Unerfahrenen Schreiber:innen hilft das Werkzeug so, besser lesbare Texte nach den gängigen Regeln für gutes Schreiben zu verfassen.

In Zukunft könnte also der Inhalt eines Textes vollständig von einem Menschen erdacht, der Text selbst aber größtenteils von einer Maschine geschrieben worden sein. DetectGPT-Forscher Eric Mitchell geht davon aus, dass das Tool seines Teams Texte als maschinengeschrieben markiert, wenn sie mehr als 30 Prozent KI-Text enthalten - eine Grenze, die schnell erreicht ist.

Das Bildungssystem tut daher gut daran, sich auf eine Zukunft vorzubereiten, in der KI-generierte Texte allgegenwärtig sein werden, und Detektoren nur als zusätzliche Option für schwierige Plagiatsfälle einzusetzen.

Im schlimmsten Fall schrecken Detektoren ansonsten Schüler:innen und Studierende davon ab, entsprechende Tools nutzen, da sie unberechtigterweise als Plagiator:innen eingestuft werden könnten - und der mögliche Effizienzgewinn durch diese neuen Werkzeuge bliebe auf der Strecke.

OpenAI-Chef Sam Altman geht ohnehin davon aus, dass KI-Text-Detektoren eine Halbwertszeit von wenigen Monaten haben, bevor es Methoden gibt, sie zu überlisten.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Die KI-Textdetektoren DetectGPT und ZeroGPTX sollen (in Zukunft) helfen, KI-Texte zuverlässig zu erkennen.
  • Das Thema ist jedoch komplex, und selbst wenn die Systeme teilweise zuverlässig arbeiten, untersuchen sie bei weitem nicht alle Variablen, wie z.B. spezifische Prompts, die entworfen wurden, um die Detektoren zu umgehen.
  • Außerdem gibt es viele legitime Gründe, große Sprachmodelle als Texthilfe zu verwenden. Gerade das Bildungssystem tut daher gut daran, sich auf eine Zukunft mit LLMs vorzubereiten und Detektoren nur in Härtefällen einzusetzen.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!