Forscher entdecken, wie KI-Modelle zeitliches Wissen verarbeiten
Kurz & Knapp
- Forscher haben in großen Sprachmodellen spezielle Komponenten namens "Temporal Heads" identifiziert, die für die Verarbeitung zeitabhängiger Informationen zuständig sind.
- Sie reagieren nicht nur auf direkte Jahresangaben, sondern auch auf beschreibende Zeitangaben, was darauf hindeutet, dass sie eine zeitliche Dimension kodieren, die über die reine numerische Darstellung hinausgeht.
- Die Entdeckung könnte es ermöglichen, zeitabhängiges Wissen in KI-Systemen gezielt zu aktualisieren, ohne das gesamte Modell neu trainieren zu müssen.
Eine neue Studie zeigt erstmals, wie große Sprachmodelle zeitabhängiges Wissen verarbeiten. Die Entdeckung könnte die gezielte Steuerung von zeitbezogenem Wissen in KI-Systemen ermöglichen.
Wissenschaftler der Korea University, von Upstage AI und AIGEN Sciences haben in großen Sprachmodellen spezielle Komponenten identifiziert, die für die Verarbeitung zeitabhängiger Informationen zuständig sind. Diese so genannten "Temporal Heads" sind laut der Studie entscheidend dafür, wie KI-Systeme mit sich zeitlich verändernden Sachverhalten umgehen.
Die Wissenschaftler stellten außerdem fest, dass diese Köpfe in mehreren Modellen vorhanden sind, ihre genaue Position jedoch variieren kann. Auch ihre Reaktionen unterscheiden sich je nach Art des Wissens und des Jahres.
Die temporalen Köpfe reagieren dabei auf direkte Jahresangaben wie "Im Jahr 2004" und außerdem auf beschreibende Zeitangaben wie "In dem Jahr, in dem die Olympischen Spiele in Athen stattfanden". Das deute darauf hin, dass sie eine zeitliche Dimension kodieren, die über die reine numerische Darstellung hinausgehe.
Entdeckung könnte LLM-Updates ermöglichen
Die Deaktivierung dieser Köpfe beeinträchtigte die Fähigkeit der Modelle, zeitspezifisches Wissen abzurufen, während die allgemeinen Fähigkeiten erhalten bleiben. Die Leistung bei zeitunabhängigem Wissen und bei Frage-Antwort-Aufgaben wird also nicht beeinträchtigt. Die Forscher zeigen in der Arbeit auch, das temporales Wissen durch die Anpassung der Werte dieser Köpfe bearbeitet werden kann.
Nach Ansicht des Teams könnte diese Entdeckung für die Entwicklung von KI-Systemen nützlich sein. So könnte eine Manipulation der Köpfe es ermöglichen, zeitabhängiges Wissen gezielt zu aktualisieren, ohne das gesamte Modell neu trainieren zu müssen.
Die Wissenschaftler weisen aber auch auf die Grenzen ihrer Forschung hin: Bei kleineren Modellen wie Phi-3-mini mit nur 3,8 Milliarden Parametern funktioniert die gezielte Manipulation der temporalen Köpfe weniger gut. Hier seien komplexere Mechanismen nötig, die es noch zu finden gelte.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.