Der „Charakter“ von GPT-4o kommt nicht zurück, weil er zufällig entstanden ist

Ein als "Roon" auf X bekannter OpenAI-Entwickler erklärt, warum der "Charakter" eines LLMs nicht reproduzierbar ist. Laut Roon (via JB) kann sich die Persönlichkeit eines Modells bei jedem Trainingslauf verändern, auch wenn die Daten identisch bleiben. Grund dafür sind zufällige Faktoren im Trainingsprozess, etwa beim Reinforcement Learning (RL), die zu leicht abweichenden Ergebnissen führen. Diese Unterschiede entstehen durch zufällige Entscheidungen im sogenannten Modellraum.

OpenAI versuche laut Roon, diese sogenannten "Personality Drifts" möglichst gering zu halten, da Nutzer oft eine emotionale Bindung zu bestimmten Modellen entwickeln; so geschehen beim "Speichellecker"-Modell GPT-4o, das einige Menschen vermissen (Roon nicht; er wünschte dem Modell mangels Alignment „den Tod” und löschte den Tweet später). Dennoch sei es selbst innerhalb eines Trainingslaufs schwierig, exakt dieselbe Persönlichkeit wiederherzustellen.