Authors-Guild-Test zeigt: Pangram und Grammarly erkennen menschliche Texte zuverlässig als solche

Authors Guild warnt vor ungerechtfertigten Vorwürfen

Dennoch warnt die älteste und größte Berufsorganisation für Autorinnen und Autoren: Selbst gut abschneidende Tools sollten nie als alleinige Grundlage für Entscheidungen dienen. Die Werkzeuge ändern sich ständig und ihre Genauigkeit kann nicht dauerhaft vorausgesetzt werden.

Pangram-CEO Max Spero erklärte kürzlich, sein Detektor sei eine Blackbox: Warum ein Text als KI-generiert eingestuft werde, lasse sich nicht im Detail erklären. Sprachmodelle verrieten sich aber durch ihre Uniformität, speziell bei Argumenten. Hier würden Menschen deutlich vielfältiger schreiben.

Professionell geschriebene Texte weisen laut der Authors Guild zudem viele statistische Muster auf, die auch KI-Ausgaben kennzeichnen, da Sprachmodelle auf genau solchen Texten trainiert wurden.

Das schafft ein beunruhigendes Paradox. Wer als Autor jahrzehntelang an Klarheit, Sparsamkeit und Präzision gefeilt hat, schreibt zwangsläufig so, wie es auch KI gelernt hat zu produzieren. Erkennungstools können nicht zwischen einem Menschen, der sein Handwerk beherrscht, und einer Maschine, die gelernt hat, es nachzuahmen, unterscheiden - denn auf der Ebene, auf der diese Tools arbeiten, gibt es möglicherweise kaum einen Unterschied zu finden.

Author's Guild

Falsche Ergebnisse können Autoren ihren Vertrag und ihren Ruf kosten. Verlage sollten daher ihre Methodik offenlegen und Autoren stets erlauben, sich zu verteidigen.

Dass Pangram und Originality von Menschen geschriebene Texte zuverlässig als solche erkennen, heißt nicht zwangsläufig, dass die Systeme auch KI-Texte zuverlässig entlarven können. Die Ergebnisse zeigen primär, dass die Tools darauf optimiert sind, möglichst wenige Texte fälschlicherweise als KI-generiert einzustufen. Dabei könnten viele von oder mit KI geschriebene Texte durch das Raster fallen. Die im Test gezeigte Zuverlässigkeit bezieht sich daher in erster Linie auf die korrekte Erkennung menschlich geschriebener Texte.

Die notwendige kulturelle Debatte hinter der Detektion

Natürlich kann es auch hier weiter zu Fehlern kommen, weshalb die Sinnhaftigkeit solcher Detektoren immer wieder angezweifelt wird. Das gilt insbesondere, da KI ohnehin an vielen Stellen sinnvoll eingesetzt werden kann und in der Debatte KI-Nutzung fürs Schreiben häufig mit KI-Nutzung fürs Denken gleichgesetzt wird.

Fürsprecher der Detektoren, wie Pangram-CEO Max Spero, rechtfertigen ihr Geschäftsmodell mit einem sozialen Vertrag zwischen Autor und Leser: Der Autor investiere Zeit und Mühe, um eine Idee zu formulieren, der Leser investiere Zeit, um sie zu lesen. Wenn KI die Kosten des Schreibens auf null senke, entstünden falsche Anreize: Menschen würden massenhaft wertlose Inhalte veröffentlichen, für die der Leser mehr Zeit aufwende als der Autor.

Ob sich der Wert eines Inhalts allerdings durch die Tipparbeit definiert oder vielmehr durch die Themenfindung, die Idee, die Perspektive, die Story, die Recherche, die Argumentation und das Urteilsvermögen, ist eine andere Frage. Ebenso wie die Frage, ob KI-Text-Detektion an der Flut wertloser Inhalte überhaupt etwas ändern kann.