OpenAI soll Antwort-Kosten für ChatGPT-Gast-Nutzer um mehr als die Hälfte gesenkt haben

OpenAI-Ingenieure haben Anfang dieses Monats intern mitgeteilt, dass sie die Kosten für Inferenz – also das Betreiben bestehender KI-Modelle – mehr als halbieren konnten. Das berichtet eine mit den Gesprächen vertraute Person gegenüber The Information.

Die neu entdeckten Optimierungen wurden unter anderem auf ChatGPT angewendet, konkret für Besucher ohne Account. Dabei sank die Zahl der benötigten Nvidia-Grafikprozessoren zeitweise auf wenige Hundert. Wie viele es zuvor waren und welche Techniken OpenAI für die Effizienzgewinne eingesetzt hat, ist nicht bekannt. Gastnutzer haben nur sehr eingeschränkte Funktionen in ChatGPT. Ob diese Zugewinne auch für alle ChatGPT-Funktionen gelten würden, ist unklar.

Auch Deepseek stellte gerade eine neue Open-Source-Methode vor, die Inferenzanfragen um 60 bis 85 Prozent beschleunigen kann. Die frei werdenden Ressourcen ließen sich etwa in die Skalierung des Angebots, bessere KI-Modelle, höhere Geschwindigkeit oder die eigenen Margen investieren. Da der Rechenzentrumsausbau langsam vorangeht, schaffen solche Effizienzgewinne den Laboren wohl eher mehr Freiraum, als dass sie die Nachfrage nach Chips reduzieren.