OpenAI hat mit "Predicted Outputs" eine neue Funktion für seine Sprachmodelle GPT-4o und GPT-4o-mini vorgestellt, die einen erheblichen Fortschritt bei der Geschwindigkeit von KI-gestützten Textbearbeitungen verspricht.
Erste Tests mit der neuen Funktion zeigen beeindruckende Ergebnisse: Die Antwortzeiten bei der Codebearbeitung sind zwei- bis viermal schneller als bei bestehenden Modellen, und umfangreiche Dateibearbeitungen, die bisher etwa 70 Sekunden dauerten, können nun in etwa 20 Sekunden abgeschlossen werden. Als Anwendungsfälle nennt OpenAI das Aktualisieren eines Blog-Eintrags in einem Dokument, das Iterieren früherer Antworten oder das Neuschreiben von Code in einer bestehenden Datei.
Das System basiert auf einem einfachen, aber effektiven Prinzip: Entwickler können einen erwarteten Teil der Ausgabe vorab eingeben, was besonders bei wiederholenden Aufgaben oder kleineren Dokumentenänderungen sehr effektiv ist, da das Modell weniger neue Tokens generieren muss. Als Faustregel gilt laut OpenAI: Wenn 50 Prozent der Ausgabe-Tokens eingespart werden können, verringert sich die Latenzzeit um etwa 50 Prozent.
Predicted Outputs sind nur sinnvoll für spezielle Anwendungsfälle
Laut OpenAI funktioniert die Funktion am besten, wenn die Vorhersage eng mit der gewünschten Modellantwort übereinstimmt, während sie für die Erstellung völlig neuer Inhalte weniger geeignet ist, da hier keine sinnvolle Vorhersage möglich ist. Die neue Funktion wurde bereits in verschiedenen Programmiersprachen wie Python, JavaScript, Go und C++ erfolgreich getestet.
Allerdings gibt es auch Einschränkungen: Die Funktion ist nur mit den Modellen GPT-4o und GPT-4o-mini verfügbar und unterstützt keine erweiterten API-Parameter wie Mehrfachausgaben oder Funktionsaufrufe. OpenAI empfiehlt Entwicklern, mit der Funktion zunächst in kontrollierten, vorhersehbaren Aufgaben zu experimentieren, um die Effizienz zu maximieren.
Mehr Informationen gibt es in der Dokumentation.
