Eine neue Studie zeigt erstmals, wie große Sprachmodelle zeitabhängiges Wissen verarbeiten. Die Entdeckung könnte die gezielte Steuerung von zeitbezogenem Wissen in KI-Systemen ermöglichen.
Wissenschaftler der Korea University, von Upstage AI und AIGEN Sciences haben in großen Sprachmodellen spezielle Komponenten identifiziert, die für die Verarbeitung zeitabhängiger Informationen zuständig sind. Diese so genannten "Temporal Heads" sind laut der Studie entscheidend dafür, wie KI-Systeme mit sich zeitlich verändernden Sachverhalten umgehen.
Die Wissenschaftler stellten außerdem fest, dass diese Köpfe in mehreren Modellen vorhanden sind, ihre genaue Position jedoch variieren kann. Auch ihre Reaktionen unterscheiden sich je nach Art des Wissens und des Jahres.
Die temporalen Köpfe reagieren dabei auf direkte Jahresangaben wie "Im Jahr 2004" und außerdem auf beschreibende Zeitangaben wie "In dem Jahr, in dem die Olympischen Spiele in Athen stattfanden". Das deute darauf hin, dass sie eine zeitliche Dimension kodieren, die über die reine numerische Darstellung hinausgehe.
Entdeckung könnte LLM-Updates ermöglichen
Die Deaktivierung dieser Köpfe beeinträchtigte die Fähigkeit der Modelle, zeitspezifisches Wissen abzurufen, während die allgemeinen Fähigkeiten erhalten bleiben. Die Leistung bei zeitunabhängigem Wissen und bei Frage-Antwort-Aufgaben wird also nicht beeinträchtigt. Die Forscher zeigen in der Arbeit auch, das temporales Wissen durch die Anpassung der Werte dieser Köpfe bearbeitet werden kann.
Nach Ansicht des Teams könnte diese Entdeckung für die Entwicklung von KI-Systemen nützlich sein. So könnte eine Manipulation der Köpfe es ermöglichen, zeitabhängiges Wissen gezielt zu aktualisieren, ohne das gesamte Modell neu trainieren zu müssen.
Die Wissenschaftler weisen aber auch auf die Grenzen ihrer Forschung hin: Bei kleineren Modellen wie Phi-3-mini mit nur 3,8 Milliarden Parametern funktioniert die gezielte Manipulation der temporalen Köpfe weniger gut. Hier seien komplexere Mechanismen nötig, die es noch zu finden gelte.
