Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Sind Halluzinationen, also von großen Sprachmodellen generierte Falschaussagen, ein Bug oder ein Feature?

Andrej Karpathy, KI-Entwickler bei OpenAI und ehemaliger Leiter der KI-Abteilung bei Tesla, sieht Halluzinationen nicht als Fehler großer Sprachmodelle. Im Gegenteil: Sie seien ihre größte Stärke.

Karpathy bezeichnet LLMs als "Traummaschinen", die auf Basis ihrer Trainingsdaten Inhalte generieren. Die Anweisungen, die den LLMs gegeben werden, lösen einen "Traum" aus, der durch das Verständnis des Modells seiner Trainingsdaten gesteuert wird.

In den meisten Fällen sei der generierte Inhalt nützlich und relevant. Wenn der Traum jedoch einen falschen oder irreführenden Weg einschlägt, würde man dies als "Halluzination" bezeichnen. "Es sieht aus wie ein Fehler, obwohl das LLM nur das tut, was es immer tut", schreibt Karpathy.

Anzeige
Anzeige

Karpathy sieht LLMs auf einem Spektrum zwischen Suchmaschinen und Kreativitätsgeneratoren. Während Suchmaschinen ein "Kreativitätsproblem" hätten und nur vorhandene Inhalte zurückgeben könnten, seien LLMs in der Lage, aus ihren Trainingsdaten neue Inhalte zu generieren. Diese Kreativität gehe jedoch mit dem Risiko einher, Halluzinationen zu erzeugen.

Ob Halluzinationen ein Problem sind, hängt von der Anwendung ab

Karpathy räumt jedoch ein, dass Halluzinationen zwar ein Merkmal großer Sprachmodelle seien, aber bei der Anwendung von LLMs, beispielsweise für persönliche Assistenten, problematisch sein könnten. Nach eigenen Angaben arbeitet Karpathy bei OpenAI an einer Art "JARVIS" (Personal AI Assistant).

LLM-Assistenten seien komplexer als das zugrunde liegende LLM und erforderten zusätzliche Methoden, um Halluzinationen zu reduzieren. Ein Ansatz, den Karpathy erwähnt, ist die Retrieval Augmented Generation (RAG), die den generierten Inhalt stärker in realen Daten verankert.

Andere Methoden umfassen die Ausnutzung von Inkonsistenzen zwischen mehreren Beispielen, Reflexion, Verifikationsketten, die Dekodierung von Unsicherheiten aus Aktivierungen und die Verwendung von Werkzeugen.

Diese Forschungsbereiche werden aktiv untersucht, um die Genauigkeit und Zuverlässigkeit von LLM-Assistenten zu verbessern.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Empfehlung
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Andrej Karpathy, KI-Entwickler bei OpenAI, sieht Halluzinationen, also von großen Sprachmodellen generierte Falschaussagen, nicht als Fehler, sondern als ihre Stärke.
  • Er bezeichnet LLMs als "Traummaschinen" und sieht sie zwischen Suchmaschinen und Kreativitätsgeneratoren, wobei Halluzinationen als kreativer Nebeneffekt auftreten können.
  • Karpathy räumt jedoch ein, dass Halluzinationen problematisch sein können, wenn LLMs als persönliche Assistenten eingesetzt werden. Er sieht jedoch Möglichkeiten, die Genauigkeit und Zuverlässigkeit von LLM-Assistenten zu verbessern.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!