Pangrams größtes Problem sind die eigenen Nutzer

Pangram hat offenbar zwischenzeitlich einen "Attack Dog" beschäftigt, der in sozialen Medien Leute für KI-Nutzung stigmatisieren sollte. Dabei verschwimmen zwei Ebenen: ob KI genutzt wurde und wie. Die "KI-Jäger" werfen ihren Zielen vor, nicht selbst gedacht und gearbeitet zu haben – eine Wie-Unterstellung. Ihr Tool misst aber nur (ungefähr) das Ob.

Laut WIRED bot der Journalist Rod Breslau Anfang des Jahres dem Pangram-Gründer Spero seine Dienste an, weil er genug davon hatte, KI-generierte Inhalte in sozialen Medien zu sehen. Breslau beriet Pangram bei der Social-Media-Strategie, suchte aber auch aktiv nach mutmaßlichen KI-Nutzern und stellte sie öffentlich bloß. "Ich wollte einen härteren Ansatz, weil ich fand, dass die Leute zu leicht davonkamen," so Breslau gegenüber WIRED.

Breslaus Begründung für sein Stigmatisierungs-Vorhaben ist, nun, seine Meinung. "Jeder erklärt sich zum Anführer in seiner Nische und baut seine gesamte Personenmarke darauf auf, auf Twitter und LinkedIn – da gibt es Führungskräfte, Tech-CEOs", sagte Breslau in einem früheren Interview mit GamesBeat. "Wenn du einer dieser Leute bist, solltest du deine Posts selbst schreiben müssen. Und wenn du deine Social-Media-Posts nicht selbst schreibst, dann sollte ich, oder jeder andere, mich über dich lustig machen."

Pangram trennte sich später von ihm, da sich die Strategie änderte: Das Unternehmen geht jetzt davon aus, dass KI-Nutzung zunehmend akzeptiert wird. Künftig will Pangram selbst leichte KI-Bearbeitungen erkennen und sich als zentrale Instanz für Originalitätsprüfung in Verlagen, Schulen und anderen Bereichen positionieren.

Auch Pangram-CEO Max Spero hat, auch nach der Trennung von Breslau, mit Pangram-Scores Menschen für KI‑Nutzung stigmatisiert – oder, wie er es sehen würde: Gerechtigkeit walten lassen, wenn jemand angeblich die eigene KI-Nutzung verschleiern wollte.

Pangram kann sehen, ob KI genutzt wurde, aber nicht wie

Das eigentliche Problem, das weder Pangram noch Spero lösen können: Ein wie auch immer gearteter KI-Score, selbst wenn er exakt wäre, was er bei Pangram häufig nicht ist (siehe unten), sagt nichts darüber aus, wie viel Mensch in einem Text steckt. Er zeigt ausschließlich, ob KI eher genutzt wurde oder eher nicht. Aber nicht, wie sie genutzt wurde: ob jemand einen ganzen Text generieren ließ, ob KI nur als Denkpartner diente, ob sie beim Formulieren half oder ob ein Autor seinen eigenen Text lediglich sprachlich glätten oder übersetzen ließ.

Die Pangram-Stigmatisierung funktioniert aber über die Unterstellung, dass die Nutzung von KI automatisch bedeutet, dass der Mensch hinter dem Text sich nicht selbst eingebracht hat, zu bequem war oder nicht nachgedacht hat. Ein hoher KI-Score kann einen Text treffen, in den jemand stundenlang eigene Recherche, Gedanken und Argumente gesteckt hat, genauso wie einen, der in zehn Sekunden per Prompt erzeugt wurde. Pangram macht keinen Unterschied, weil es diese Unterscheidung nicht anhand des Textes ermitteln kann. Dafür müsste es beim Entstehungsprozess dabei gewesen sein.

Um meinen Punkt zu verdeutlichen: Die englische Übersetzung dieses Textes wurde in der ersten Version komplett mit KI erstellt und anschließend redigiert. Pangram bewertete die Übersetzung letztlich mit "28 Prozent KI" – angeblich sei der letzte Absatz KI‑geschrieben. Dabei ist der gesamte Text auf dieselbe Weise entstanden und wurde auf dieselbe Art überarbeitet, enthält also überall gleich viel oder gleich wenig KI-Text. Stigmatisierer würden dieses Ergebnis dennoch nutzen, um zu behaupten, der letzte Absatz stamme von einer KI, enthalte nicht meine Position, nicht mein Denken. Es gibt Menschen in wissenschaftlichen Institutionen, die auf Basis solcher Prozent-Bewertungen Paper ablehnen.

Dass die Auslagerung von Textarbeit nichts über die Qualität oder den menschlichen Anteil eines Werks aussagt, ist übrigens keine neue Erkenntnis: Schon Alexandre Dumas ließ Rohfassungen seiner Romane von Assistenten wie Auguste Maquet schreiben und veredelte sie anschließend, darunter Klassiker wie die Drei Musketiere. Die Qualität entstand nicht im Entwurf, sondern beim Konzept am Anfang und beim Feinschliff am Ende. Ein KI-Detektor, auf Dumas angewendet, hätte nur "Maquet-Nutzung" festgestellt und wäre damit an allem vorbeigegangen, was seine Bücher zu dem machte, was sie sind.