Neuer Pangram 3.0 KI-Text-Detektor soll fast fehlerlos sein

Pangram hat die Version 3.0 seines KI-Text-Detektors veröffentlicht. Die wichtigste Neuerung: Das Tool klassifiziert Texte jetzt in vier Kategorien statt nur binär zwischen menschlich und maschinell zu unterscheiden.

Die neuen Kategorien umfassen laut Anbieter: vollständig menschlich geschrieben, leicht KI-unterstützt, moderat KI-unterstützt und vollständig KI-generiert. Bei längeren Dokumenten soll Pangram 3.0 zudem einzelne Segmente separat analysieren können – etwa wenn die erste Hälfte eines Textes menschlich verfasst wurde und die zweite mit KI-Hilfe entstand.

Vier Abstufungen sollen Co-Authoring-Realität abbilden

Die Unterscheidung zwischen den Kategorien orientiert sich laut Pangram am Ausmaß der KI-Beteiligung. "Leichte KI-Unterstützung" umfasst demnach oberflächliche Änderungen wie Rechtschreibkorrekturen, Grammatikverbesserungen oder Übersetzungen, die den eigentlichen Inhalt nicht verändern.

"Moderate KI-Unterstützung" zeigt laut dem Unternehmen an, dass die KI möglicherweise größere Textabschnitte umgeschrieben oder eigene Inhalte hinzugefügt hat - etwa zusätzliche Details, Tonanpassungen oder Umstrukturierungen. Als "vollständig KI-generiert" werden Texte klassifiziert, die direkt aus Modellen wie ChatGPT stammen.

Für das Training des Modells habe man KI-Systeme angewiesen, menschliche Texte in unterschiedlichem Ausmaß zu bearbeiten, erklärt Pangram in einem technischen Blog-Post.

Anbieter gibt 99,98 Prozent Genauigkeit an

Pangram beziffert die Genauigkeit des neuen Modells auf 99,98 Prozent bei der Erkennung von KI-generierten Texten – bei einer Falsch-Positiv-Rate nahe null. Nach eigenen Angaben werden menschliche Essays wie folgt klassifiziert:

Diese Zahlen stammen allerdings vom Anbieter selbst und wurden nicht unabhängig verifiziert. Pangram räumt zudem ein, dass die Grenzen zwischen den Kategorien "mehr Kunst als Wissenschaft" seien. Wo genau die Schwelle zwischen "leichter" und "moderater" KI-Unterstützung liegt, lasse sich nicht exakt definieren.

Die neue Klassifizierungsfunktion ist standardmäßig nur für zahlende Abonnenten verfügbar. Kostenlose Nutzer sehen eine vereinfachte Version: Leicht KI-unterstützte Texte werden als "Human" angezeigt, moderat unterstützte als "AI-generated".

Unabhängige Studie bestätigte zuvor gute Leistung

Bereits vor der Veröffentlichung von Version 3.0 hatte eine unabhängige Studie der University of Chicago Pangram überdurchschnittliche Leistungen bescheinigt. Der Detektor erreichte demnach bei mittellangen bis langen Texten eine Falsch-Positiv-Rate und Falsch-Negativ-Rate von praktisch null und erwies sich als robust gegen Manipulationsversuche durch sogenannte "Humanizer"-Tools.

Die Forscher warnten jedoch vor einem "technischen Wettrüsten" zwischen Detektoren, KI-Modellen und Umgehungstools. Ob KI-Text-Detektoren generell eine gute Idee sind, selbst wenn sie technisch funktionieren, bleibt umstritten. KI-Pionier Andrej Karpathy etwa hält die Detektion von KI-Texten für grundsätzlich gescheitert und fordert stattdessen eine Transformation des Bildungssystems.