Inhalt
summary Zusammenfassung

OpenAI hat mit "Predicted Outputs" eine neue Funktion für seine Sprachmodelle GPT-4o und GPT-4o-mini vorgestellt, die einen erheblichen Fortschritt bei der Geschwindigkeit von KI-gestützten Textbearbeitungen verspricht.

Anzeige

Erste Tests mit der neuen Funktion zeigen beeindruckende Ergebnisse: Die Antwortzeiten bei der Codebearbeitung sind zwei- bis viermal schneller als bei bestehenden Modellen, und umfangreiche Dateibearbeitungen, die bisher etwa 70 Sekunden dauerten, können nun in etwa 20 Sekunden abgeschlossen werden. Als Anwendungsfälle nennt OpenAI das Aktualisieren eines Blog-Eintrags in einem Dokument, das Iterieren früherer Antworten oder das Neuschreiben von Code in einer bestehenden Datei.

Das System basiert auf einem einfachen, aber effektiven Prinzip: Entwickler können einen erwarteten Teil der Ausgabe vorab eingeben, was besonders bei wiederholenden Aufgaben oder kleineren Dokumentenänderungen sehr effektiv ist, da das Modell weniger neue Tokens generieren muss. Als Faustregel gilt laut OpenAI: Wenn 50 Prozent der Ausgabe-Tokens eingespart werden können, verringert sich die Latenzzeit um etwa 50 Prozent.

Predicted Outputs sind nur sinnvoll für spezielle Anwendungsfälle

Laut OpenAI funktioniert die Funktion am besten, wenn die Vorhersage eng mit der gewünschten Modellantwort übereinstimmt, während sie für die Erstellung völlig neuer Inhalte weniger geeignet ist, da hier keine sinnvolle Vorhersage möglich ist. Die neue Funktion wurde bereits in verschiedenen Programmiersprachen wie Python, JavaScript, Go und C++ erfolgreich getestet.

Anzeige
Anzeige

Allerdings gibt es auch Einschränkungen: Die Funktion ist nur mit den Modellen GPT-4o und GPT-4o-mini verfügbar und unterstützt keine erweiterten API-Parameter wie Mehrfachausgaben oder Funktionsaufrufe. OpenAI empfiehlt Entwicklern, mit der Funktion zunächst in kontrollierten, vorhersehbaren Aufgaben zu experimentieren, um die Effizienz zu maximieren.

Mehr Informationen gibt es in der Dokumentation.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • OpenAI stellt mit "Predicted Outputs" eine Funktion für GPT-4o und GPT-4o-mini vor, die KI-gestützte Textbearbeitungen beschleunigt. Die Antwortzeiten sind zwei- bis viermal schneller als bei bestehenden Modellen, wobei umfangreiche Dateibearbeitungen statt 70 nun in etwa 20 Sekunden erfolgen.
  • Das System ermöglicht Entwicklern, einen erwarteten Teil der Ausgabe vorab einzugeben. Bei einer Einsparung von 50 Prozent der Ausgabe-Tokens verringert sich die Latenzzeit um etwa 50 Prozent. Tests in Python, JavaScript, Go und C++ verliefen erfolgreich.
  • Die Funktion eignet sich besonders für wiederholende Aufgaben und kleinere Dokumentenänderungen, ist aber für völlig neue Inhalte weniger geeignet. Sie unterstützt keine erweiterten API-Parameter wie Mehrfachausgaben oder Funktionsaufrufe und ist nur für GPT-4o und GPT-4o-mini verfügbar.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!