Inhalt
summary Zusammenfassung

Ab sofort können ChatGPT-Plus-Abonnenten in drei Stunden bis zu 50 Nachrichten an GPT-4 senden. Nach der Einführung des neuen Modells im März war die Anzahl aus Rechen- und Kostengründen auf 25 Nachrichten in zwei Stunden begrenzt.

Anzeige

Die Erhöhung der Nachrichtenanzahl könnte mit der kürzlich eingeführten GPT-4 Version "0613" zusammenhängen, die ein effizienteres Modell sein könnte, aber möglicherweise auch Qualitätseinbußen mit sich bringt (siehe unten).

Auffallend im Vergleich zum März-Modell "0314" ist die deutlich höhere Schreibgeschwindigkeit des neuen Modells. Das war auch bei der Umstellung von GPT-3 auf GPT-3.5 der Fall. Bei der gab es allerdings keine Qualitätseinbußen. Das neue GPT-4-Modell "0613" kann deutlich mehr RPM (requests per minute) und TPM (tokens per minute) verarbeiten.

Die GPT-Modelle per API in der Übersicht. Das neueste GPT-Modell verarbeitet das Sechsfache an Token pro Minute. | Bild: Screenshot OpenAI

GPT-4 bietet mehr Volumen und wird schneller - auf Kosten der Qualität?

Bei unseren Tests über die API folgt die neue Version GPT-4 unseren für das März-Release erstellten Prompt-Templates weniger zuverlässig und detailliert und neigt eher zu inhaltlichen Fehlern.

Anzeige
Anzeige

Wir generieren etwa die Artikelzusammenfassungen unter den Artikeln teilweise mit GPT-4. In der Zusammenfassung dieser Meldung zu den Klageplänen von Barry Diller erfasst das alte GPT-4-Modell korrekt, dass Diller gemeinsam mit Verlagen Konzerne verklagen will.

Das GPT-4 März-Modell erkennt aus dem Artikel korrekt, dass Diller gemeinsam mit Publishern gegen KI-Unternehmen klagen will. | Bild: THE DECODER

Die neue Version von GPT-4 hingegen behauptet, Diller wolle die Verlage verklagen. Dieser Fehler konnte bei mehreren Neugenerierungen mit demselben Prompt reproduziert werden. Die alte Version liegt stets richtig, die neue stets falsch.

Das neue GPT-4-Modell erfasst den Kern der Nachricht falsch. | Bild: THE DECODER

Dies ist natürlich nur eine Einzelbeobachtung. Eine systematischere Untersuchung deutet jedoch ebenso darauf hin, dass ChatGPT mit GPT-3.5 und GPT-4 seit März an Qualität verloren hat. Letztlich ist dies aber nicht abschließend erwiesen und mögliche Gründe sind nicht bekannt.

Die Kritik an der angeblich sinkenden Qualität des Modells wird seit einigen Wochen vor allem von Vielnutzern in den sozialen Medien und auf Reddit geäußert. OpenAI hat bisher immer darauf hingewiesen, dass es keine Verschlechterung der Qualität gibt, sondern im Gegenteil sogar Verbesserungen. Die teilweise zitierten Beispiele seien möglicherweise Bugs. Nach der Veröffentlichung der oben genannten Studie möchte OpenAI nun den Beispielen und einer möglichen Qualitätsverschlechterung nachgehen.

LLMs müssen verlässlich sein, um im Arbeitsalltag anzukommen

Unabhängig davon, ob sich die Kritik an einer möglicherweise schlechten Performance bewahrheitet, ist OpenAI gut beraten, die Verlässlichkeit seines Modells auch über Modellwechsel hinweg sicherzustellen. Gerade bei Geschäftskunden, die Dienste weiterverkaufen, können Qualitätsschwankungen im Alltag das Geschäftsmodell gefährden.

Empfehlung

Dabei muss es sich nicht einmal um eine Verschlechterung des Modells handeln, es reicht etwa eine Abweichung in der Prompt-Kompatibilität. Da das Verständnis über die genaue Funktionsweise der Modelle noch gering ist, steht OpenAI hier vor einer anspruchsvollen Aufgabe, die mit wachsender Kundenbasis nur noch anspruchsvoller wird.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • OpenAI hat vor kurzem das Limit für ChatGPT-Plus erhöht, so dass Abonnenten jetzt bis zu 50 Nachrichten in drei Stunden an GPT-4 senden können, anstatt nur 25 Nachrichten in zwei Stunden.
  • Das neue GPT-4 Modell verarbeitet mehr Anfragen und Token pro Minute und ist deutlich schneller als sein Vorgänger. Bei Tests über die API hat unser Redaktionsteam Unzuverlässigkeiten und inhaltliche Fehler bei der Befolgung von Prompt Templates festgestellt, die auf eine Verschlechterung der Modellqualität oder zumindest auf eine signifikante Veränderung hindeuten könnten.
  • OpenAI muss die Zuverlässigkeit seiner Modelle sicherstellen, insbesondere für Geschäftskunden, für die Qualitätsschwankungen das Geschäftsmodell gefährden könnten.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!