Wie nützlich sind Millionen-Kontextfenster wirklich? Nikolay Savinov von Google Deepmind erklärt, dass Sprachmodelle bei vielen Tokens im Kontextfenster mit einem Verteilungsproblem kämpfen: Mehr Aufmerksamkeit für ein Token bedeutet automatisch weniger für andere. Savinov rät daher, irrelevante Inhalte möglichst nicht in den Kontext aufzunehmen. Zwar sei es das Ziel, Modelle so zu verbessern, dass dieses Problem nicht mehr besteht. Aktuell sei es aber effizienter, den Kontext gezielt zu wählen.
Wenn man es [das Kontextfenster] im Moment gut nutzen will, dann sollte man realistisch sein. Man sollte einfach keine irrelevanten Kontexte einfügen.
Nikolay Savinov
Aktuelle Forschung bestätigt Savinovs Aussagen. In der Praxis bedeutet das beispielsweise, vor der KI-Verarbeitung Seiten aus einem PDF zu entfernen, die für die zu lösende Aufgabe irrelevant sind, auch wenn das KI-System das PDF als Ganzes akzeptiert.
