Seit Monaten beschweren sich Benutzerinnen und Benutzer über eine schlechtere Performance von GPT-4 und ChatGPT, auch beim neuen Turbo-Modell. OpenAI geht den Rückmeldungen nach.
In letzter Zeit beschweren sich immer mehr Nutzende über schlechte oder unvollständige Antworten, insbesondere bei der Codegenerierung. Auf diese Beschwerden reagiert OpenAI nun bei X.
"Das Verhalten von Modellen kann unvorhersehbar sein, und wir arbeiten daran, das zu korrigieren", schreibt OpenAI.
Das Unternehmen geht nicht davon aus, dass sich das Modell selbst verändert hat. Laut OpenAI wurde das zuletzt eingesetzte GPT-4 Turbo seit dem 11. November nicht mehr aktualisiert.
Die Unterschiede im Verhalten des Modells könnten jedoch sehr subtil sein. "Nur ein Teil der Prompts kann betroffen sein, und es kann lange dauern, bis Kunden und Angestellte diese Muster bemerken und beheben", schreibt OpenAI.
Die Komplexität der KI-Entwicklung
In weiteren Tweets erläuterte OpenAI die Feinheiten des KI-Trainings. Unterschiedliche Trainingsläufe, selbst mit den gleichen Datensätzen, könnten Modelle mit deutlichen Unterschieden in Persönlichkeit, Schreibstil, Verweigerungsverhalten, Bewertungsleistung und sogar politischer Voreingenommenheit hervorbringen.
Es handele sich nicht um einen "sauberen industriellen Prozess", sondern eher um eine "handwerkliche Teamarbeit", die nicht mit einer einfachen Aktualisierung einer Website vergleichbar sei.
An der Planung, Erstellung und Bewertung neuer Chat-Modelle seien viele Personen beteiligt. Insbesondere die "dynamische Bewertung" wird von OpenAI als "Problem" bezeichnet.
Wenn wir ein neues Modell auf den Markt bringen, führen wir umfangreiche Tests durch, sowohl mit Offline-Evaluierungsmetriken als auch mit Online-A/B-Tests. Nachdem wir alle Ergebnisse erhalten haben, versuchen wir, eine datengestützte Entscheidung darüber zu treffen, ob das neue Modell für reale Benutzer eine Verbesserung gegenüber dem vorherigen Modell darstellt.
OpenAI
Klagen über Leistungsabfall bei GPT-4 gibt es seit Sommer
Bereits als OpenAI im Sommer das erste Modell von Version 0314 auf Version 0613 grundlegend aktualisierte, gab es Beschwerden über Performanceeinbußen. Diese sind bis heute nicht grundsätzlich geklärt.
Laut OpenAI kann ein Modellupdate die Performance in einigen Bereichen verbessern, in anderen aber verschlechtern. OpenAI hat auf die Kritik reagiert und die Bereitstellung des alten Modells 0314 bis mindestens Sommer 2024 verlängert.
Zuletzt zeigten Code-Benchmarks für GPT-4 Turbo, dass das Turbo-Modell weniger Code-Probleme lösen konnte und dies oft erst im zweiten Versuch. Eine Hypothese hinter diesem Leistungsabfall ist, dass GPT-4 Turbo aus Kostengründen weiter destilliert wurde und dabei die im ursprünglichen GPT-4 enthaltenen auswendig gelernten und dann abgerufenen Aufgaben verloren gingen.
OpenAI selbst bezeichnet GPT-4 Turbo als das "smarteste" Modell, ein Begriff, der interpretierbar ist und sich eher auf das Verhältnis von Leistung und Energieverbrauch beziehen könnte als auf die grundsätzlichen Problemlösungsfähigkeiten.
