Der KI-Experte Andrej Karpathy erklärt, dass Nutzer beim "Fragen einer KI" eigentlich nur mit den durchschnittlichen Antworten menschlicher Datenbeschrifter interagieren.
Der ehemalige OpenAI-Forscher Andrej Karpathy räumt mit überzogenen Vorstellungen von KI-Systemen auf. Seiner Meinung nach sind die KI-Modelle hinter ChatGPT und Co. im Grunde nur auf die Nachahmung menschlicher Datenbeschrifter trainiert.
"Man fragt nicht irgendeine magische KI. Man befragt einen menschlichen Datenbeschrifter, dessen durchschnittliches Wesen verlustreich in […] LLMs destilliert wurde", sagt Karpathy.
Karpathy erklärt dies am Beispiel einer typischen Tourismusfrage: Wenn ein Nutzer nach den "Top 10 Sehenswürdigkeiten in Amsterdam" fragt, basiere die Antwort der KI auf der Arbeit eines menschlichen Datenbeschrifters, der eine ähnliche Frage kurz recherchiert und beantwortet hat.
Bei Fragen, die nicht im Trainingsdatensatz enthalten sind, erzeugt das System eine statistisch ähnliche Antwort, die auf dem Wissen aus dem Training mit vielen Daten basiert, aber den Stil der von Menschen gegebenen Antworten imitiert.
Besonders kritisch sieht Karpathy daher Vorschläge, KI-Systeme zu komplexen politischen Fragen wie optimaler Regierungsführung zu befragen. Die Antwort der KI sei im Wesentlichen das, was man eine Stunde später erhalten würde, wenn man die Frage direkt an das Beschrifterteam stellen würde.
"Das wäre, als würde man Mary aus Ohio für 10 Dollar beauftragen, die Frage innerhalb von 30 Minuten zu recherchieren - unter strikter Einhaltung eines 100-seitigen Regelwerks des KI-Unternehmens zur Beantwortung solcher Fragen", sagt Karpathy.
Feinabstimmung prägt den "Charakter" der KI
Das Training von LLMs erfolgt gewöhnlich in zwei Schritten: Zunächst lernt die KI aus vielen Internetdokumenten und Inhalten aller Art.
In der anschließenden Feinabstimmung wird sie mit Gesprächen zwischen "Mensch" und "Assistent" trainiert, wobei die Rolle des Assistenten von menschlichen Annotatoren vorgegeben wird.
Durch diesen Prozess lernt die KI, sich wie ein hilfreicher und harmloser Assistent zu verhalten. Sie behält ihr Vorwissen, passt sich aber dem Stil der Feinabstimmungsdaten an.
Karpathy erklärt auch, warum Sprachmodelle auf strittige Fragen oft mit "Das ist eine umstrittene Frage" antworten: Die Beschrifter werden in ihren Schulungsunterlagen angewiesen, solche Formulierungen zu verwenden, um Neutralität zu wahren.
KI-Antworten können Expertenantworten simulieren
Für spezielle Fachgebiete würden entsprechende Experten als Datenbeschrifter eingesetzt. So werden laut Karpathy für medizinische Fragen Ärzte und für mathematische Probleme sogar Spitzenmathematiker wie Terence Tao engagiert. Dabei muss nicht jede einzelne Frage bearbeitet werden, sondern es genügt, so viele Fragen zu beantworten, dass das System lernt, einen Profi zu simulieren.
Das bedeutet jedoch nicht, dass KI-Modelle tatsächlich alle Fragen auf dem Niveau dieser Experten beantworten können. Das zugrundeliegende Wissen und die Argumentationsfähigkeiten seien im Modell möglicherweise einfach nicht vorhanden. Dennoch seien die Antworten deutlich besser als die eines durchschnittlichen Internetnutzers.
Dieses sogenannte Reinforcement Learning from Human Feedback (RLHF), das als wichtiger Baustein für den Erfolg von ChatGPT gilt, hatte Karpathy bereits zuvor kritisiert. Er bezeichnet es als Notlösung, da es im Gegensatz zu "echtem" Reinforcement Learning, wie es beispielsweise bei Deepminds AlphaGo zum Einsatz kommt, keine objektiven Erfolgskriterien gibt.
Karpathy ist einer von mehreren hochrangigen KI-Experten, die OpenAI in diesem Jahr verlassen haben. Vor kurzem gründete er sein eigenes Start-up für KI im Bildungsbereich.
