Große Sprachmodelle: OpenAI-CEO sieht "Ende einer Ära" bei Parameteranzahl
Lange Zeit wurde der mögliche Fortschritt großer Sprachmodelle primär an der Anzahl der Parameter gemessen. Sam Altman, CEO von OpenAI, hält diesen Ansatz für nicht zukunftsfähig.
Altman vergleicht den Wettlauf um immer mehr Parameter bei großen Sprachmodellen mit dem Wettlauf um immer höhere Taktraten von Chips in den 1990er- und 2000er-Jahren, bei dem eine immer höhere Taktfrequenz das Ziel war. Heute spiele die Taktrate beispielsweise von Smartphone-Chips kaum noch eine Rolle, obwohl diese Chips viel leistungsfähiger seien als frühere Prozessoren.
Die Anzahl der Parameter hält der OpenAI-CEO nicht mehr für einen guten alleinigen Indikator für die Leistungsfähigkeit eines Modells. "Ich glaube, wir sind am Ende der Ära, in der es nur diese riesigen Modelle gibt, und wir werden sie auf andere Weise verbessern", sagte Altman auf der Veranstaltung "Imagination in Action" (via Techcrunch), auf der er sich auch zu GPT-5 und zum KI-Pause-Brief äußerte.
Sprachmodell-Entwicklung: Fokus auf Fähigkeiten
Dennoch könne die Zahl der Parameter weiter steigen, so Altman. Der Fokus müsse aber darauf liegen, die Fähigkeiten der Modelle zu verbessern und zu erweitern, nicht die Anzahl der Parameter. Mögliche zukünftige Architekturen könnten zum Beispiel aus mehreren kleinen Modellen bestehen, die zusammenarbeiten.
Schon in der Vergangenheit sagte Altman, dass sich zukünftige KI-Modelle durch ihre Effizienz und Datenqualität auszeichnen sollten als durch ihre schiere Parameteranzahl. Modelle wie Deepminds Chinchilla, Sparse Luminous Base von Aleph Alpha oder Metas LLaMA-Modelle zeigen, dass Sprachsysteme mit weniger Parametern durch eine effizientere Architektur oder mehr Datentraining mit größeren Modellen mithalten können.
In der Vergangenheit kommunizierte OpenAI die Parameteranzahl der eigenen Modelle stets, bei GPT-4 verzichtete das Unternehmen erstmals darauf. Die Website Semafor berichtet, dass GPT-4 eine Billion Parameter haben soll, also etwa sechsmal so viele wie GPT-3. Diese Zahl wurde bisher von keiner anderen Quelle bestätigt. Auf Nachfrage wollte sich der Semafor-Journalist Reed Albergotti nicht konkret zur Herkunft der Zahl oder ihrer Richtigkeit äußern und verwies auf eine mögliche weiterführende Berichterstattung.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.