Sind Halluzinationen, also von großen Sprachmodellen generierte Falschaussagen, ein Bug oder ein Feature?
Andrej Karpathy, KI-Entwickler bei OpenAI und ehemaliger Leiter der KI-Abteilung bei Tesla, sieht Halluzinationen nicht als Fehler großer Sprachmodelle. Im Gegenteil: Sie seien ihre größte Stärke.
Karpathy bezeichnet LLMs als "Traummaschinen", die auf Basis ihrer Trainingsdaten Inhalte generieren. Die Anweisungen, die den LLMs gegeben werden, lösen einen "Traum" aus, der durch das Verständnis des Modells seiner Trainingsdaten gesteuert wird.
In den meisten Fällen sei der generierte Inhalt nützlich und relevant. Wenn der Traum jedoch einen falschen oder irreführenden Weg einschlägt, würde man dies als "Halluzination" bezeichnen. "Es sieht aus wie ein Fehler, obwohl das LLM nur das tut, was es immer tut", schreibt Karpathy.
Karpathy sieht LLMs auf einem Spektrum zwischen Suchmaschinen und Kreativitätsgeneratoren. Während Suchmaschinen ein "Kreativitätsproblem" hätten und nur vorhandene Inhalte zurückgeben könnten, seien LLMs in der Lage, aus ihren Trainingsdaten neue Inhalte zu generieren. Diese Kreativität gehe jedoch mit dem Risiko einher, Halluzinationen zu erzeugen.
Ob Halluzinationen ein Problem sind, hängt von der Anwendung ab
Karpathy räumt jedoch ein, dass Halluzinationen zwar ein Merkmal großer Sprachmodelle seien, aber bei der Anwendung von LLMs, beispielsweise für persönliche Assistenten, problematisch sein könnten. Nach eigenen Angaben arbeitet Karpathy bei OpenAI an einer Art "JARVIS" (Personal AI Assistant).
LLM-Assistenten seien komplexer als das zugrunde liegende LLM und erforderten zusätzliche Methoden, um Halluzinationen zu reduzieren. Ein Ansatz, den Karpathy erwähnt, ist die Retrieval Augmented Generation (RAG), die den generierten Inhalt stärker in realen Daten verankert.
Andere Methoden umfassen die Ausnutzung von Inkonsistenzen zwischen mehreren Beispielen, Reflexion, Verifikationsketten, die Dekodierung von Unsicherheiten aus Aktivierungen und die Verwendung von Werkzeugen.
Diese Forschungsbereiche werden aktiv untersucht, um die Genauigkeit und Zuverlässigkeit von LLM-Assistenten zu verbessern.