OpenAIs GPT-4o kann jetzt seine eigenen Antworten vorhersagen
OpenAI hat mit "Predicted Outputs" eine neue Funktion für seine Sprachmodelle GPT-4o und GPT-4o-mini vorgestellt, die einen erheblichen Fortschritt bei der Geschwindigkeit von KI-gestützten Textbearbeitungen verspricht.
Erste Tests mit der neuen Funktion zeigen beeindruckende Ergebnisse: Die Antwortzeiten bei der Codebearbeitung sind zwei- bis viermal schneller als bei bestehenden Modellen, und umfangreiche Dateibearbeitungen, die bisher etwa 70 Sekunden dauerten, können nun in etwa 20 Sekunden abgeschlossen werden. Als Anwendungsfälle nennt OpenAI das Aktualisieren eines Blog-Eintrags in einem Dokument, das Iterieren früherer Antworten oder das Neuschreiben von Code in einer bestehenden Datei.
Das System basiert auf einem einfachen, aber effektiven Prinzip: Entwickler können einen erwarteten Teil der Ausgabe vorab eingeben, was besonders bei wiederholenden Aufgaben oder kleineren Dokumentenänderungen sehr effektiv ist, da das Modell weniger neue Tokens generieren muss. Als Faustregel gilt laut OpenAI: Wenn 50 Prozent der Ausgabe-Tokens eingespart werden können, verringert sich die Latenzzeit um etwa 50 Prozent.
Predicted Outputs sind nur sinnvoll für spezielle Anwendungsfälle
Laut OpenAI funktioniert die Funktion am besten, wenn die Vorhersage eng mit der gewünschten Modellantwort übereinstimmt, während sie für die Erstellung völlig neuer Inhalte weniger geeignet ist, da hier keine sinnvolle Vorhersage möglich ist. Die neue Funktion wurde bereits in verschiedenen Programmiersprachen wie Python, JavaScript, Go und C++ erfolgreich getestet.
Allerdings gibt es auch Einschränkungen: Die Funktion ist nur mit den Modellen GPT-4o und GPT-4o-mini verfügbar und unterstützt keine erweiterten API-Parameter wie Mehrfachausgaben oder Funktionsaufrufe. OpenAI empfiehlt Entwicklern, mit der Funktion zunächst in kontrollierten, vorhersehbaren Aufgaben zu experimentieren, um die Effizienz zu maximieren.
Mehr Informationen gibt es in der Dokumentation.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar“‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnierenKI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.