Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Seit Monaten beschweren sich Benutzerinnen und Benutzer über eine schlechtere Performance von GPT-4 und ChatGPT, auch beim neuen Turbo-Modell. OpenAI geht den Rückmeldungen nach.

In letzter Zeit beschweren sich immer mehr Nutzende über schlechte oder unvollständige Antworten, insbesondere bei der Codegenerierung. Auf diese Beschwerden reagiert OpenAI nun bei X.

"Das Verhalten von Modellen kann unvorhersehbar sein, und wir arbeiten daran, das zu korrigieren", schreibt OpenAI.

Das Unternehmen geht nicht davon aus, dass sich das Modell selbst verändert hat. Laut OpenAI wurde das zuletzt eingesetzte GPT-4 Turbo seit dem 11. November nicht mehr aktualisiert.

Anzeige
Anzeige

Die Unterschiede im Verhalten des Modells könnten jedoch sehr subtil sein. "Nur ein Teil der Prompts kann betroffen sein, und es kann lange dauern, bis Kunden und Angestellte diese Muster bemerken und beheben", schreibt OpenAI.

Die Komplexität der KI-Entwicklung

In weiteren Tweets erläuterte OpenAI die Feinheiten des KI-Trainings. Unterschiedliche Trainingsläufe, selbst mit den gleichen Datensätzen, könnten Modelle mit deutlichen Unterschieden in Persönlichkeit, Schreibstil, Verweigerungsverhalten, Bewertungsleistung und sogar politischer Voreingenommenheit hervorbringen.

Es handele sich nicht um einen "sauberen industriellen Prozess", sondern eher um eine "handwerkliche Teamarbeit", die nicht mit einer einfachen Aktualisierung einer Website vergleichbar sei.

An der Planung, Erstellung und Bewertung neuer Chat-Modelle seien viele Personen beteiligt. Insbesondere die "dynamische Bewertung" wird von OpenAI als "Problem" bezeichnet.

Wenn wir ein neues Modell auf den Markt bringen, führen wir umfangreiche Tests durch, sowohl mit Offline-Evaluierungsmetriken als auch mit Online-A/B-Tests. Nachdem wir alle Ergebnisse erhalten haben, versuchen wir, eine datengestützte Entscheidung darüber zu treffen, ob das neue Modell für reale Benutzer eine Verbesserung gegenüber dem vorherigen Modell darstellt.

OpenAI

Klagen über Leistungsabfall bei GPT-4 gibt es seit Sommer

Bereits als OpenAI im Sommer das erste Modell von Version 0314 auf Version 0613 grundlegend aktualisierte, gab es Beschwerden über Performanceeinbußen. Diese sind bis heute nicht grundsätzlich geklärt.

Empfehlung

Laut OpenAI kann ein Modellupdate die Performance in einigen Bereichen verbessern, in anderen aber verschlechtern. OpenAI hat auf die Kritik reagiert und die Bereitstellung des alten Modells 0314 bis mindestens Sommer 2024 verlängert.

Zuletzt zeigten Code-Benchmarks für GPT-4 Turbo, dass das Turbo-Modell weniger Code-Probleme lösen konnte und dies oft erst im zweiten Versuch. Eine Hypothese hinter diesem Leistungsabfall ist, dass GPT-4 Turbo aus Kostengründen weiter destilliert wurde und dabei die im ursprünglichen GPT-4 enthaltenen auswendig gelernten und dann abgerufenen Aufgaben verloren gingen.

OpenAI selbst bezeichnet GPT-4 Turbo als das "smarteste" Modell, ein Begriff, der interpretierbar ist und sich eher auf das Verhältnis von Leistung und Energieverbrauch beziehen könnte als auf die grundsätzlichen Problemlösungsfähigkeiten.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • In den vergangenen Monaten haben sich Benutzer über eine schlechtere Performance von GPT-4 und ChatGPT beschwert, insbesondere bei der Codegenerierung und GPT-4 Turbo. OpenAI untersucht dieses Feedback.
  • OpenAI geht nicht davon aus, dass sich das Modell selbst geändert hat, da die letzte Version von GPT-4 Turbo seit dem 11. November nicht mehr aktualisiert wurde. Die Unterschiede im Verhalten könnten jedoch sehr subtil sein und nur einen Teil der Prompts betreffen.
  • Die Entwicklung von KI sei ein komplexer Prozess, der von vielen Personen beeinflusst werde und nicht mit einem einfachen Website-Update vergleichbar sei. OpenAI führe umfangreiche Tests durch, um datenbasierte Entscheidungen über Verbesserungen an neuen Modellen zu treffen, bevor diese ausgerollt werden.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!