Mit einem Langzeitgedächtnis könnten Sprachmodelle noch spezifischer auf Anfragen reagieren - oder persönlicher werden. MemoryGPT gibt davon einen ersten Eindruck.
Derzeit bezieht sich die Interaktion mit Sprachmodellen auf einzelne Instanzen, z.B. bei ChatGPT auf einen einzelnen Chat. Innerhalb dieses Chats kann das Sprachmodell bis zu einem gewissen Umfang den Kontext der Eingabe für neue Texte und Antworten berücksichtigen.
Bei der derzeit mächtigsten GPT-4-Variante sind das bis zu 32.000 Token - etwa 50 Seiten Text. Auf diese Weise ist es beispielsweise möglich, mit einem umfangreichen Paper über dessen Inhalt zu chatten. Entwickelnde können sich mit einer Code-Datenbank unterhalten, um neue Lösungen zu finden. Das Kontextfenster ist also ein wichtiger Baustein für den praktischen Nutzen großer Sprachmodelle, eine Innovation, die durch die Transformer-Netze möglich wurde.
we though we wanted flying cars and not 140/280 characters, but really we wanted 32000 tokens
— Sam Altman (@sama) March 25, 2023
Allerdings sind immer größere Kontextfenster rechenintensiv und damit teuer. Für die Weiterentwicklung großer Sprachmodelle sind daher möglicherweise zusätzliche Speichersysteme erforderlich, die möglichst viel aktuellen Input und neues Wissen mit den enormen Wissensreserven verbinden, die das Sprachmodell während des Vortrainings erworben hat.
MemoryGPT: ChatGPT mit Langzeitgedächtnis
Konkret bräuchten Sprachmodelle also eine Art Hippocampus, der im menschlichen Gehirn Kurzzeiterinnerungen in Langzeiterinnerungen umwandelt, im Langzeitgedächtnis speichert und von dort bei Bedarf wieder abrufen kann.
Für ChatGPT würde das zum Beispiel bedeuten, dass man Informationen aus einem früheren Chat in einen aktuellen Chat einweben könnte: "Erinnerst du dich an meine Forschung über den Hippocampus vom letzten Jahr? Bitte verbinde das mit dieser aktuellen Studie über das limbische System", wäre dann ein möglicher Prompt.
Auf Twitter zeigt der KI-Entwickler "Rik V." mit "MemoryGPT" ein erstes Experiment in diese Richtung. Dem Entwickler zufolge kann sich sein System auf Wunsch "für immer" an frühere Chats erinnern.
"Es wird sich Dinge über dich merken, wenn du mit ihm sprichst. An Vorlieben, an Arbeitsweisen, an alles, was man ihm sagt. Und es wird sein Verhalten anpassen, um besser zu dir zu passen, und es kann dir helfen oder dich ganz allgemein coachen", schreibt der Entwickler.
Dazu speichert der Entwickler frühere Konversationen in einer Vektordatenbank, auf die MemoryGPT jederzeit zugreifen kann, und kombiniert diese mit einem regulären Datenspeicher für übergreifende Nutzerdaten und Ziele. Das folgende Video zeigt eine MemoryGPT-Demo.
Video: Rik V. via Twitter
Für die Vektordatenbank gibt es Anbieter wie Pinecone, die sich genau auf dieses KI-Langzeitgedächtnis spezialisiert haben, auch wenn es laut des Entwicklers "100 Wege" gibt, das Konzept in die Praxis umzusetzen.
Wer MemoryGPT testen möchte, kann sich hier für einen Beta-Test registrieren. Rik V. arbeitet derzeit an einem verbesserten Interface, die Tests sollen ab Dienstag starten.
