Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Binoculars ist der derzeit leistungsfähigste Detektor für KI-generierten Text. Nach Angaben des Teams hinter der Methode erkennt Binoculars KI-Text mit einer Genauigkeit von über 90 Prozent.

Sprachmodell-Detektoren sind spezialisierte Algorithmen zur Erkennung von Texten, die von ChatGPT oder anderen Textgeneratoren erzeugt wurden. Diese Aufgabe ist in den letzten Jahren mit dem Aufkommen leistungsfähiger Sprachmodelle wie GPT-3 und GPT-4 schwieriger - und gleichzeitig notwendiger - geworden, da KI-generierte Texte in immer mehr Bereichen eingesetzt werden.

Ein Detektor, der von Forschenden der University of Maryland, der Carnegie Mellon University, der New York University und des ELLIS Institute & MPI for Intelligent Systems des Tübingen AI Center entwickelt wurde, erreicht eine neue Spitzenleistung in der LLM-Erkennung, die nach Angaben des Teams sogar die kommerzieller Anbieter übertrifft.

Das Team nennt auch einen Grund für den Einsatz solcher Detektoren: die Sicherstellung der Authentizität von Inhalten und den Schutz der Integrität von Informationen im digitalen Raum.

Anzeige
Anzeige

Die Kerninnovation von Binoculars liegt in der Fähigkeit, die Perplexität eines bestimmten Textes zu vergleichen, wenn er von zwei eng verwandten Sprachmodellen verarbeitet wird. Die Perplexität misst, wie überrascht ein Modell von einer Wortfolge ist; eine höhere Perplexität deutet auf einen weniger vorhersehbaren oder komplexeren Text hin. Durch den Vergleich von Perplexität und Cross-Perplexität (wie die Vorhersagen eines Modells von einem anderen Modell wahrgenommen werden) kann Binoculars effektiv zwischen menschlichem und maschinengeneriertem Inhalt unterscheiden.

Geringe Fehlerrate von Binoculars soll Fehlalarm verhindern

Binoculars zeigt eine beeindruckende Genauigkeit bei der Erkennung von maschinengeneriertem Text: In Tests konnte Binoculars mehr als 90% der von modernen Sprachmodellen wie ChatGPT erzeugten Texte korrekt identifizieren, mit einer sehr geringen Fehlerrate von nur 0,01%. Diese hohe Genauigkeit bleibt auch bei Texten aus unterschiedlichen Quellen und in unterschiedlichen Stilen und Sprachen erhalten.

Der Einsatz von LLM-Detektoren wie Binoculars wirft nach Ansicht des Teams aber auch wichtige ethische Fragen auf. Während sie helfen können, vor Desinformation zu schützen und die Authentizität von Informationen zu erhalten, besteht die Gefahr, dass sie missbraucht werden oder unbeabsichtigte negative Auswirkungen haben. Zum Beispiel könnten Texte von Nicht-Muttersprachlern fälschlicherweise als maschinengeneriert eingestuft werden. Die Forschenden sind jedoch der Ansicht, dass Binoculars in seiner derzeitigen Form auch in solchen Fällen eine höhere Zuverlässigkeit bietet.

Das Team hat Binoculars auf GitHub veröffentlicht.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Binoculars ist ein leistungsstarker Detektor für KI-generierten Text und erkennt solche Texte mit einer Genauigkeit von über 90 Prozent.
  • Die Kerninnovation besteht darin, Perplexität und Cross-Perplexität von zwei eng verwandten Sprachmodellen zu vergleichen, um effektiv zwischen menschlichem und maschinengeneriertem Inhalt zu unterscheiden.
  • Der Einsatz von LLM-Detektoren wie Binoculars wirft ethische Fragen auf, aber die Forscher glauben, dass es in seiner derzeitigen Form eine höhere Zuverlässigkeit bietet, auch bei Texten von Nicht-Muttersprachlern.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!