Binoculars ist der derzeit leistungsfähigste Detektor für KI-generierten Text. Nach Angaben des Teams hinter der Methode erkennt Binoculars KI-Text mit einer Genauigkeit von über 90 Prozent.
Sprachmodell-Detektoren sind spezialisierte Algorithmen zur Erkennung von Texten, die von ChatGPT oder anderen Textgeneratoren erzeugt wurden. Diese Aufgabe ist in den letzten Jahren mit dem Aufkommen leistungsfähiger Sprachmodelle wie GPT-3 und GPT-4 schwieriger - und gleichzeitig notwendiger - geworden, da KI-generierte Texte in immer mehr Bereichen eingesetzt werden.
Ein Detektor, der von Forschenden der University of Maryland, der Carnegie Mellon University, der New York University und des ELLIS Institute & MPI for Intelligent Systems des Tübingen AI Center entwickelt wurde, erreicht eine neue Spitzenleistung in der LLM-Erkennung, die nach Angaben des Teams sogar die kommerzieller Anbieter übertrifft.
Das Team nennt auch einen Grund für den Einsatz solcher Detektoren: die Sicherstellung der Authentizität von Inhalten und den Schutz der Integrität von Informationen im digitalen Raum.
Die Kerninnovation von Binoculars liegt in der Fähigkeit, die Perplexität eines bestimmten Textes zu vergleichen, wenn er von zwei eng verwandten Sprachmodellen verarbeitet wird. Die Perplexität misst, wie überrascht ein Modell von einer Wortfolge ist; eine höhere Perplexität deutet auf einen weniger vorhersehbaren oder komplexeren Text hin. Durch den Vergleich von Perplexität und Cross-Perplexität (wie die Vorhersagen eines Modells von einem anderen Modell wahrgenommen werden) kann Binoculars effektiv zwischen menschlichem und maschinengeneriertem Inhalt unterscheiden.
Geringe Fehlerrate von Binoculars soll Fehlalarm verhindern
Binoculars zeigt eine beeindruckende Genauigkeit bei der Erkennung von maschinengeneriertem Text: In Tests konnte Binoculars mehr als 90% der von modernen Sprachmodellen wie ChatGPT erzeugten Texte korrekt identifizieren, mit einer sehr geringen Fehlerrate von nur 0,01%. Diese hohe Genauigkeit bleibt auch bei Texten aus unterschiedlichen Quellen und in unterschiedlichen Stilen und Sprachen erhalten.
Der Einsatz von LLM-Detektoren wie Binoculars wirft nach Ansicht des Teams aber auch wichtige ethische Fragen auf. Während sie helfen können, vor Desinformation zu schützen und die Authentizität von Informationen zu erhalten, besteht die Gefahr, dass sie missbraucht werden oder unbeabsichtigte negative Auswirkungen haben. Zum Beispiel könnten Texte von Nicht-Muttersprachlern fälschlicherweise als maschinengeneriert eingestuft werden. Die Forschenden sind jedoch der Ansicht, dass Binoculars in seiner derzeitigen Form auch in solchen Fällen eine höhere Zuverlässigkeit bietet.
Das Team hat Binoculars auf GitHub veröffentlicht.