OpenAI hat sein bisher größtes Sprachmodell vorgestellt. Laut Mark Chen, Chief Research Officer von OpenAI, zeigt GPT 4.5, dass die Skalierung von KI-Modellen noch nicht an ihre Grenzen gestoßen ist.
OpenAI hat am Donnerstag sein neuestes Sprachmodell GPT 4.5 vorgestellt. Laut dem Unternehmen handelt es sich um das bisher größte und beste Chat-Modell. Das Modell wird zunächst für Pro-Nutzer freigeschaltet, gefolgt von Plus, Enterprise, Team und Edu-Nutzern in den kommenden Wochen.
Für Chen ist GPT 4.5 eine Antwort auf Kritiker, die bezweifeln, dass Forschungslabore weiterhin durch die Vergrößerung von Modellen Fortschritte erzielen können. "GPT 4.5 ist wirklich der Beweis, dass wir das Skalierungsparadigma fortsetzen können", erklärte Chen in einem Gespräch. "Es ist der Punkt, der auf der nächsten Größenordnung liegt."
Auf die Frage, warum das neue Modell nicht als GPT-5 bezeichnet wurde, erläuterte Chen, dass OpenAI bei Namensgebungen versuche, sich an erkennbaren Trends zu orientieren. Bei vorhersehbarer Skalierung – wie beim Übergang von GPT-3 zu 3.5 – könne man projizieren, welche Verbesserungen eine Größenordnung mehr Rechenleistung und Effizienzsteigerungen bringen würden. Das neue Modell entspreche dem, was man von einem GPT 4.5 erwarten würde.
Pre-Training und Reasoning: Zwei Achsen der KI-Entwicklung
Chen betonte, dass OpenAI mittlerweile auf zwei verschiedenen Achsen skalieren könne: "GPT 4.5 ist unser neuestes Skalierungsexperiment entlang der Achse des unüberwachten Lernens. Aber es gibt auch Reasoning." Die längere Entwicklungszeit zwischen GPT-4 und 4.5 erklärt Chen damit, dass das Unternehmen stark auf die Entwicklung des Reasoning-Paradigmas fokussiert war.
Diese beiden Ansätze seien komplementär: "Man braucht Wissen, um darauf Reasoning aufzubauen. Ein Modell kann nicht blind starten und Reasoning von Grund auf lernen", erklärte Chen. Die beiden Paradigmen würden sich gegenseitig verstärken und Feedback-Schleifen bilden.
GPT 4.5 sei auf andere Weise "intelligent" als Reasoning-Modelle. Es verfüge über deutlich mehr Weltwissen. Bei Vergleichen mit GPT-4o hätten Nutzer das neue Modell für alltägliche Anwendungsfälle mit einem Verhältnis von 60 Prozent bevorzugt. Für Produktivitäts- und Wissensarbeit liege die Präferenzrate sogar bei fast 70 Prozent.
GPT-4.5-Entwicklung kein Ausreißer
Auf die Frage nach möglichen Grenzen der Skalierung stellte Chen klar: "Wir sehen die gleichen Ergebnisse. GPT 4.5 ist der nächste Schritt in diesem Paradigma des unüberwachten Lernens." OpenAI gehe dabei sehr rigoros vor, indem es auf Basis aller zuvor trainierten Modelle Hochrechnungen erstellt, welche Leistung zu erwarten ist.
Neben den traditionellen Benchmarks, bei denen GPT 4.5 laut OpenAI ähnliche Verbesserungen zeigt wie beim Sprung von GPT-3.5 zu GPT-4, verfüge das Modell über neue Fähigkeiten. Als Beispiel nannte Chen die Fähigkeit, ASCII-Kunst zu erzeugen - eine Aufgabe, an der frühere Modelle meist gescheitert seien.
Chen wies auch Berichte zurück, dass die Entwicklung von GPT 4.5 besonders schwierig gewesen sei. "Die Entwicklung all unserer Grundlagenmodelle ist experimentell. Oft bedeutet das, an bestimmten Punkten anzuhalten, zu analysieren, was passiert, und dann die Durchläufe neu zu starten", erklärte er. Dies sei kein spezifisches Merkmal von GPT 4.5, sondern etwas, das OpenAI auch mit GPT-4 und der O-Serie gemacht habe.
Auffällig ist jedoch, dass das deutlich kleinere Modell Claude 3.7 Sonnet in vielen Bereichen Anthropic GPT-4.5 schlägt, das zudem mit einem Knowledge-Cutoff von Oktober 2023 relativ alt erscheint. Ein Grund hierfür dürfte auch in den Trainingsdaten liegen, da seit 2023 insbesondere im Bereich der synthetischen Daten viele Fortschritte erzielt wurden.
