OpenAI Foundry soll ein neuer Service für Unternehmen werden. Ein Leak gibt Einblick in die Modellpreise - und wie mächtig GPT-4 werden könnte.
OpenAI startet eine neue Plattform für Entwickler:innen, die den Namen "Foundry" trägt und "für innovative Kunden, die größere Workloads ausführen" entwickelt wurde. Foundry soll Unternehmen die volle Kontrolle über Modellkonfiguration und Leistungsprofil geben. Die Informationen stammen aus Screenshots, die ein Twitter-Nutzer aus Foundrys Early-Access-Programm geteilt hat.
OpenAI has privately announced a new developer product called Foundry, which enables customers to run OpenAI model inference at scale w/ dedicated capacity.
It also reveals that DV (Davinci; likely GPT-4) will have up to 32k max context length in the public version. 🔥 pic.twitter.com/5KEsWLqPdc
— Travis Fischer (@transitive_bs) February 21, 2023
Foundry verspricht eine statische Zuweisung von Rechenkapazität und Zugriff auf verschiedene Modelle und Tools, die OpenAI selbst für die Entwicklung und Optimierung eigener KI-Modelle nutzt.
OpenAI-Leak zeigt massiven Sprung im Kontextfenster der nächsten GPT-Generation
Die Preise liegen je nach Modell und Vertragslaufzeit zwischen 26.000 und 156.000 US-Dollar pro Monat. Die Tabelle im Dokument zeigt drei Modelle: GPT-3.5 Turbo und zwei Varianten von DV. Das GPT-3.5 Turbo-Modell entspricht mutmaßlich ChatGPTs Turbo-Modell, der Name DV könnte für Davinci stehen, so heißt bereits die größte Variante von GPT-3 und GPT-3.5.
Diese beiden DV-Modelle gibt es in zwei Varianten: Einmal mit knapp 8.000 Token Kontext - was der doppelten Länge von ChatGPT entspricht - und einmal mit ganzen 32.000 Token Kontext. Sollten sich diese Zahlen bestätigen, wäre das ein massiver Sprung, es könnte sich also um GPT-4 oder ein direktes Vorgängermodell handeln. Die Kontextlänge bestimmt die Menge an Text, die ein Transformer-Modell wie GPT-3 gleichzeitig verarbeiten kann, in ChatGPT sind das etwa die Inhalte des aktuellen Chats.
Mehr Kontext könnte völlig neue Anwendungen für die Sprachmodelle ermöglichen
Das größte DV-Modell hätte damit die achtfache Kontextlänge der aktuellen GPT-Modelle von OpenAI und könnte wahrscheinlich weit über 30.000 Wörter oder 60 Seiten als Kontext verarbeiten. Ein solches Modell könnte ganze wissenschaftliche Artikel lesen, Studien zusammenfassen oder wesentlich umfangreichere Programmieraufgaben durchführen. Die daraus resultierenden Anwendungsfälle könnten ChatGPT wie eine veraltete Demo aussehen lassen.
Mehr Kontext könnte auch neue Formen des Prompt Engineering ermöglichen. Ein Beispiel: Forschende der Université de Montréal und Google Research haben Ende 2022 mit "Algorithmic Prompting" eine Methode vorgestellt, mit der große Sprachmodelle bis zu zehnmal geringere Fehlerraten bei der Lösung mathematischer und logischer Aufgaben erreichen. Dazu entwickelte das Team detaillierte Prompts, die Algorithmen zur Lösung der jeweiligen Aufgaben beschreiben. In ihrem Paper spekulieren sie, dass mit größeren Kontextlängen noch deutlich umfangreichere algorithmische Prompts möglich sind, die die Leistung z.B. beim logischen Schlussfolgern deutlich steigern könnten.
Bisher hat OpenAI die Pläne nicht offiziell bestätigt, aber laut dem Twitter-Nutzer hat das Unternehmen die zuvor auf Google Docs verfügbaren Dateien löschen lassen.