Inhalt
summary Zusammenfassung

Mit einem Langzeitgedächtnis könnten Sprachmodelle noch spezifischer auf Anfragen reagieren - oder persönlicher werden. MemoryGPT gibt davon einen ersten Eindruck.

Anzeige

Derzeit bezieht sich die Interaktion mit Sprachmodellen auf einzelne Instanzen, z.B. bei ChatGPT auf einen einzelnen Chat. Innerhalb dieses Chats kann das Sprachmodell bis zu einem gewissen Umfang den Kontext der Eingabe für neue Texte und Antworten berücksichtigen.

Bei der derzeit mächtigsten GPT-4-Variante sind das bis zu 32.000 Token - etwa 50 Seiten Text. Auf diese Weise ist es beispielsweise möglich, mit einem umfangreichen Paper über dessen Inhalt zu chatten. Entwickelnde können sich mit einer Code-Datenbank unterhalten, um neue Lösungen zu finden. Das Kontextfenster ist also ein wichtiger Baustein für den praktischen Nutzen großer Sprachmodelle, eine Innovation, die durch die Transformer-Netze möglich wurde.

Allerdings sind immer größere Kontextfenster rechenintensiv und damit teuer. Für die Weiterentwicklung großer Sprachmodelle sind daher möglicherweise zusätzliche Speichersysteme erforderlich, die möglichst viel aktuellen Input und neues Wissen mit den enormen Wissensreserven verbinden, die das Sprachmodell während des Vortrainings erworben hat.

Anzeige
Anzeige

MemoryGPT: ChatGPT mit Langzeitgedächtnis

Konkret bräuchten Sprachmodelle also eine Art Hippocampus, der im menschlichen Gehirn Kurzzeiterinnerungen in Langzeiterinnerungen umwandelt, im Langzeitgedächtnis speichert und von dort bei Bedarf wieder abrufen kann.

Für ChatGPT würde das zum Beispiel bedeuten, dass man Informationen aus einem früheren Chat in einen aktuellen Chat einweben könnte: "Erinnerst du dich an meine Forschung über den Hippocampus vom letzten Jahr? Bitte verbinde das mit dieser aktuellen Studie über das limbische System", wäre dann ein möglicher Prompt.

Auf Twitter zeigt der KI-Entwickler "Rik V." mit "MemoryGPT" ein erstes Experiment in diese Richtung. Dem Entwickler zufolge kann sich sein System auf Wunsch "für immer" an frühere Chats erinnern.

"Es wird sich Dinge über dich merken, wenn du mit ihm sprichst. An Vorlieben, an Arbeitsweisen, an alles, was man ihm sagt. Und es wird sein Verhalten anpassen, um besser zu dir zu passen, und es kann dir helfen oder dich ganz allgemein coachen", schreibt der Entwickler.

Dazu speichert der Entwickler frühere Konversationen in einer Vektordatenbank, auf die MemoryGPT jederzeit zugreifen kann, und kombiniert diese mit einem regulären Datenspeicher für übergreifende Nutzerdaten und Ziele. Das folgende Video zeigt eine MemoryGPT-Demo.

Empfehlung

Video: Rik V. via Twitter

Für die Vektordatenbank gibt es Anbieter wie Pinecone, die sich genau auf dieses KI-Langzeitgedächtnis spezialisiert haben, auch wenn es laut des Entwicklers "100 Wege" gibt, das Konzept in die Praxis umzusetzen.

Wer MemoryGPT testen möchte, kann sich hier für einen Beta-Test registrieren. Rik V. arbeitet derzeit an einem verbesserten Interface, die Tests sollen ab Dienstag starten.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Größere Kontextfenster in Sprachmodellen tragen dazu bei, dass diese mehr Informationen gleichzeitig abrufen und verarbeiten können.
  • Allerdings sind der Skalierung von Kontextfenstern wahrscheinlich technische und finanzielle Grenzen gesetzt. Daher werden absehbar weitere Speichersysteme für ein maschinelles Langzeitgedächtnis benötigt.
  • Mit "MemoryGPT" stellt ein Entwickler nun eine ChatGPT-ähnliche Schnittstelle vor, bei der sich der Chatbot an frühere Gespräche erinnern und Informationen daraus abrufen oder aktualisieren kann.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!