Inhalt
summary Zusammenfassung

GPT-3.5 von OpenAI könnte ein anschauliches Beispiel für das Effizienzpotenzial großer KI-Modelle sein.

Anzeige

Denn das Modell hinter der freien ChatGPT-Variante soll "nur" 20 Milliarden Parameter haben. So steht es in einem von Microsoft veröffentlichten Benchmark-Papier für ein Code-Modell. OpenAI hatte sich bei der Vorstellung von GPT-3.5 nicht zur Parameterzahl geäußert.

Bild: Microsoft

Der "Leak" ist insofern interessant, als OpenAI das im Mai 2020 vorgestellte Modell GPT-3 mit 175 Milliarden (!) Parametern vermutlich deutlich destillieren und komprimieren und damit Effizienzgewinne bei Inferenz und Geschwindigkeit erzielen konnte. Mit GPT-3.5 hat OpenAI die Generierungsgeschwindigkeit erhöht und gleichzeitig die Kosten deutlich gesenkt.

Das Beispiel zeigt auch, dass die reine Modellgröße wahrscheinlich weniger wichtig ist als die Vielfalt und Qualität der Daten sowie der Trainingsprozess. In GPT-3.5 verwendete OpenAI zusätzliches menschliches Feedback (RLHF), um die Ausgabequalität zu optimieren.

Anzeige
Anzeige

Kommt GPT-4.5?

Die spannende Frage ist nun, ob OpenAI mit GPT-4 ein ähnliches Kunststück gelingt. GPT-4 soll auf einer wesentlich komplexeren Mixture-of-Expert-Architektur basieren, die 16 KI-Modelle mit ~111 Milliarden Parametern zu einem gigantischen ~1,8 Billionen Parametern verbindet.

Die Inferenz von GPT-4 ist deutlich teurer als die der anderen KI-Modelle. GPT-3.5 liegt bei $0.0048 pro 1000 Token, GPT-4 8K hingegen ist mit $0.072 pro 1000 Token 15x teurer. Allerdings ist auch die Qualität deutlich besser als bei GPT-3.5.

Insbesondere das ursprüngliche GPT-4-Modell "0314" von OpenAI vom März 2023 folgt den Eingabeaufforderungen genauer und erzeugt qualitativ hochwertigere Generierungen als GPT-3.5. Es übertrifft nach unseren wiederholten anekdotischen Tests auch das neuere GPT-4-Modell "0613" von OpenAI vom Sommer, das dafür Texte deutlich schneller schreibt.

Möglicherweise hat OpenAI hier bereits an der Effizienzschraube gedreht. Microsoft und die Open-Source-Entwicklung üben Berichten zufolge Druck auf die Margen von OpenAI aus.

OpenAI-CEO Sam Altman sagte im April 2023, dass er glaube, dass die Ära der großen Modelle vielleicht zu Ende gehe und man die Modelle "auf andere Weise" verbessern werde. Datenqualität dürfte hier ein entscheidender Faktor sein.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Empfehlung
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • GPT-3.5 von OpenAI, das Modell hinter der freien Variante ChatGPT, soll laut einem Microsoft-Benchmark-Papier "nur" 20 Milliarden Parameter haben, im Vergleich zu 175 Milliarden Parametern bei GPT-3.
  • Dies deutet darauf hin, dass OpenAI in der Lage war, das Modell deutlich zu destillieren und zu komprimieren, was zu Effizienzsteigerungen bei Inferenz und Geschwindigkeit führte. Die Größe des Modells ist weniger wichtig als die Vielfalt und Qualität der Daten und der Trainingsprozess.
  • Die Frage bleibt offen, ob OpenAI mit GPT-4, das auf einer komplexeren Mixture-of-Expert-Architektur basiert, ähnliche Effizienzgewinne erzielen kann. GPT-4 ist derzeit deutlich teurer in der Inferenz, bietet aber auch eine höhere Qualität als GPT-3.5.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!