Anthropic-Mitarbeiter erklärt, warum Claude verlernt hat, für Menschen zu schreiben

KI-Modelle verbessern sich sprunghaft bei Mathematik, Code und logischem Denken. Beim sprachlichen Ausdruck stagnieren sie dagegen oder werden sogar schlechter.

Anthropic-Mitarbeiter Jackson Kernion, der am Claude-Feintuning arbeitet, erklärt jetzt, warum Opus 4.6 das letzte gute "Schreib"modell aus dem Hause Anthropic war: Wenig überraschend liegt es an der Optimierung neuerer Modelle auf Mathematik, Code und technische Erklärungen für andere KI-Modelle. Insbesondere Letzteres sorge für Claudes seltsame Ausdrucksweise ("Claudeish"): Das Modell sei an die "LLM-Psychologie" angepasst und habe gelernt, für KI-Modelle zu schreiben, nicht für Menschen.

Kernion vergleicht das mit Menschen, die ausschließlich mit Autisten kommunizieren: Sie entwickeln einen Stil, der in dieser Gruppe funktioniert, aber für Außenstehende schwer zugänglich ist. LLMs hätten deutlich mehr Arbeitsgedächtnis als Menschen und nähmen Details auf einer feineren Ebene wahr. Deshalb entstehe beim Training ein Schreibstil, der für KI-Modelle logisch und effizient ist, für menschliche Leser aber zu dicht und unnatürlich klingt.

Konkret gehe es um die Belohnungsstruktur beim sogenannten Reinforcement Learning, also dem belohnungsbasierten Training: Manche Belohnungen optimieren das Verständnis von KI-Modellen, andere das von Menschen. Je stärker man auf Mathe und Code trainiere, desto mehr müsse man aktiv gegensteuern und einfache Erklärungen für menschliche Leser belohnen.

Mit Opus 5.5 habe Anthropic eine bessere Balance gefunden. Das Modell sei das erste Release mit gezielten Verbesserungen bei Satzklarheit und überladenen Informationsblöcken. Kernion sei seit Opus 4.6 nicht mehr so zufrieden mit der Schreibqualität gewesen. Das heißt allerdings nicht, dass Opus 5.5 das alte Modell übertrifft. "Es ist ein schwieriges Problem", schreibt Kernion. Es gebe noch viel Raum für Verbesserungen.