Neues Tool zeigt, ob KI-Antworten auswendig gelernt oder kreativ sind
Kurz & Knapp
- Das Allen Institute for AI hat OLMoTrace vorgestellt – ein Tool, das zeigt, ob Textausgaben großer Sprachmodelle auf gelernten Trainingsdaten, kreativer Kombination oder Fantasie beruhen.
- OLMoTrace analysiert in Echtzeit Milliarden von Tokens und markiert wörtlich übereinstimmende Textabschnitte, die in den Trainingsdaten vorkommen. Nutzer sehen dazu passende Dokumente und erhalten Hinweise zur Relevanz.
- Das Tool basiert auf vollständig offenen Modellen und Datensätzen. Es soll Forschung erleichtern und das Vertrauen in generative KI stärken, indem es Herkunft und Qualität von Modellantworten nachvollziehbar macht.
Mit OLMoTrace will das Allen Institute for AI die Blackbox großer Sprachmodelle öffnen. Das Tool zeigt, ob ein Textabschnitt auf gelernten Mustern oder reiner Wiederholung beruht.
Das Allen Institute for AI (Ai2) hat mit OLMoTrace eine neue Funktion vorgestellt, die es ermöglicht, Textausgaben großer Sprachmodelle auf ihre Trainingsdaten zurückzuführen. Das Tool ist Teil des Ai2 Playgrounds und derzeit mit einigen OLMo-Modellen kompatibel.
Ziel von OLMoTrace ist es, mehr Transparenz über die Funktionsweise großer Sprachmodelle zu schaffen. Nutzerinnen und Nutzer können nachvollziehen, ob eine Modellantwort auf auswendig gelerntem Wissen, kreativer Kombination oder reiner Halluzination basiert. Laut Ai2 soll dies nicht nur die Forschung unterstützen, sondern auch das öffentliche Vertrauen in generative KI stärken. Grundlage dafür sind die vollständig offene Modelle, Datensätze und Quellcodes des Teams.
OLMoTrace durchsucht Milliarden Trainingsdaten in Echtzeit
Das Tool analysiert die Modellantwort auf lange, einzigartige Wortspannen, die wörtlich in den Trainingsdaten vorkommen. Diese Abschnitte werden farblich hervorgehoben und mit entsprechenden Dokumentausschnitten im Seitenpanel verknüpft. Ein Klick auf eine Textpassage oder ein Dokument schränkt die Ansicht gezielt ein. Farbunterschiede geben Auskunft über die Relevanz der Fundstellen.
Die Auswahl der hervorgehobenen Abschnitte erfolgt nach einem mehrstufigen Verfahren. Zunächst werden nur solche Wortspannen berücksichtigt, die vollständig in den Trainingsdaten vorkommen und keine Satz- oder Zeilenumbrüche enthalten. Anschließend bewertet OLMoTrace die Seltenheit der enthaltenen Tokens, um besonders spezifische Passagen hervorzuheben. Zu jeder Wortspanne werden bis zu zehn Dokumente angezeigt. Überlappende Wortspannen werden zusammengeführt, um die Darstellung übersichtlich zu halten.
Einsatzbeispiele des Teams zeigen, wie OLMoTrace genutzt werden kann: So ließ sich etwa eine falsche Angabe zum Wissens-Cutoff eines Modells auf Beispiele in den Nachtrainingsdaten zurückführen. Auch die mathematische Lösung einer Kombinatorik-Aufgabe konnte als auswendig gelernt identifiziert werden. In anderen Fällen können Nutzer prüfen, ob eine Modellantwort durch kreative Kombination oder generisches Wissen entstanden ist. Die Trainingsdaten umfassen insgesamt rund 4,6 Billionen Tokens aus fünf Datensätzen.
Das Tool kann auf dem Ai2-Playground ausprobiert werden.
- z
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.