Inhalt
summary Zusammenfassung

OpenAI Foundry soll ein neuer Service für Unternehmen werden. Ein Leak gibt Einblick in die Modellpreise - und wie mächtig GPT-4 werden könnte.

Anzeige

OpenAI startet eine neue Plattform für Entwickler:innen, die den Namen "Foundry" trägt und "für innovative Kunden, die größere Workloads ausführen" entwickelt wurde. Foundry soll Unternehmen die volle Kontrolle über Modellkonfiguration und Leistungsprofil geben. Die Informationen stammen aus Screenshots, die ein Twitter-Nutzer aus Foundrys Early-Access-Programm geteilt hat.

Foundry verspricht eine statische Zuweisung von Rechenkapazität und Zugriff auf verschiedene Modelle und Tools, die OpenAI selbst für die Entwicklung und Optimierung eigener KI-Modelle nutzt.

Anzeige
Anzeige

OpenAI-Leak zeigt massiven Sprung im Kontextfenster der nächsten GPT-Generation

Die Preise liegen je nach Modell und Vertragslaufzeit zwischen 26.000 und 156.000 US-Dollar pro Monat. Die Tabelle im Dokument zeigt drei Modelle: GPT-3.5 Turbo und zwei Varianten von DV. Das GPT-3.5 Turbo-Modell entspricht mutmaßlich ChatGPTs Turbo-Modell, der Name DV könnte für  Davinci stehen, so heißt bereits die größte Variante von GPT-3 und GPT-3.5.

Diese beiden DV-Modelle gibt es in zwei Varianten: Einmal mit knapp 8.000 Token Kontext - was der doppelten Länge von ChatGPT entspricht - und einmal mit ganzen 32.000 Token Kontext. Sollten sich diese Zahlen bestätigen, wäre das ein massiver Sprung, es könnte sich also um GPT-4 oder ein direktes Vorgängermodell handeln. Die Kontextlänge bestimmt die Menge an Text, die ein Transformer-Modell wie GPT-3 gleichzeitig verarbeiten kann, in ChatGPT sind das etwa die Inhalte des aktuellen Chats.

Mehr Kontext könnte völlig neue Anwendungen für die Sprachmodelle ermöglichen

Das größte DV-Modell hätte damit die achtfache Kontextlänge der aktuellen GPT-Modelle von OpenAI und könnte wahrscheinlich weit über 30.000 Wörter oder 60 Seiten als Kontext verarbeiten. Ein solches Modell könnte ganze wissenschaftliche Artikel lesen, Studien zusammenfassen oder wesentlich umfangreichere Programmieraufgaben durchführen. Die daraus resultierenden Anwendungsfälle könnten ChatGPT wie eine veraltete Demo aussehen lassen.

Mehr Kontext könnte auch neue Formen des Prompt Engineering ermöglichen. Ein Beispiel: Forschende der Université de Montréal und Google Research haben Ende 2022 mit "Algorithmic Prompting" eine Methode vorgestellt, mit der große Sprachmodelle bis zu zehnmal geringere Fehlerraten bei der Lösung mathematischer und logischer Aufgaben erreichen. Dazu entwickelte das Team detaillierte Prompts, die Algorithmen zur Lösung der jeweiligen Aufgaben beschreiben. In ihrem Paper spekulieren sie, dass mit größeren Kontextlängen noch deutlich umfangreichere algorithmische Prompts möglich sind, die die Leistung z.B. beim logischen Schlussfolgern deutlich steigern könnten.

Bisher hat OpenAI die Pläne nicht offiziell bestätigt, aber laut dem Twitter-Nutzer hat das Unternehmen die zuvor auf Google Docs verfügbaren Dateien löschen lassen.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Empfehlung
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • OpenAI Foundry soll Unternehmen Zugriff auf KI-Modelle und Tools, sowie Recheninfrastruktur bieten, zeigt ein Leak auf Twitter.
  • Foundry wird drei Modelle anbieten, eines davon mit einer achtfach größeren Kontextlänge als ChatGPT.
  • Die knapp 32.000 Token könnten dem größten Modell erlauben, über 30.000 Wörter bzw. 60 Seiten zu verarbeiten und neue Anwendungsmöglichkeiten erschließen.
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!