Inhalt
summary Zusammenfassung

OpenAI führt neue Funktionen für die API-Feinabstimmung ein und erweitert sein Programm für kundenspezifische Modelle.

Anzeige

OpenAI hat neue Funktionen für das Self-Service-Feintuning von GPT-3.5 über die API angekündigt. Seit der Einführung im August 2023 haben laut OpenAI Tausende von Unternehmen Hunderttausende von Modellen über die API trainiert.

Zu den neuen Funktionen gehören die Speicherung von Checkpoints während jeder Trainingseinheit, eine neue Playground-Benutzeroberfläche für den Vergleich von Modellqualität und -leistung, Unterstützung für Integrationen mit Drittanbieterplattformen (beginnend mit Weights and Biases), die Berechnung von Metriken über den gesamten Validierungsdatensatz am Ende jeder Einheit sowie verschiedene Verbesserungen des Fine-Tuning-Dashboards.

Video: OpenAI

Anzeige
Anzeige

Zu den häufigsten Anwendungsfällen für Fine-Tuning gehören laut OpenAI das Training eines Modells zur Generierung von besserem Code in einer bestimmten Programmiersprache, zur Zusammenfassung von Texten in einem bestimmten Format oder zur Erstellung personalisierter Inhalte auf der Grundlage des Nutzerverhaltens.

Indeed, eine globale Plattform für Stellenangebote und Jobvermittlung, nutzte die Feinabstimmung von GPT-3.5 Turbo, um personalisierte Empfehlungen an Arbeitssuchende zu senden. Durch die Anpassung konnte Indeed Kosten und Latenzzeiten reduzieren, indem die Anzahl der Token in den Prompts um 80 Prozent verringert wurde. Statt einer Million personalisierter Jobempfehlungen pro Monat versendet Indeed nun rund 20 Millionen.

OpenAI glaubt an maßgeschneiderte KI-Modelle für Unternehmen - und wird zum Dienstleister

OpenAI entwickelt auch sein Programm für kundenspezifische Modelle weiter. Im Rahmen von Assisted Fine-Tuning arbeiten die technischen Teams von OpenAI mit Kunden zusammen, um Techniken zu implementieren, die über die Fine-Tuning API hinausgehen.

Das sei besonders hilfreich für Unternehmen, die Unterstützung beim Aufbau effizienter Trainingsdatenpipelines, Evaluierungssysteme und maßgeschneiderter Parameter benötigen, um die Modellleistung für ihren Anwendungsfall zu maximieren.

Der südkoreanische Telekommunikationsanbieter SK Telecom konnte laut OpenAI nach mehrwöchiger gemeinsamer Arbeit an GPT-4 die Qualität der Anrufzusammenfassungen um 35 Prozent, die Genauigkeit der Absichtserkennung um 33 Prozent und die Zufriedenheitswerte von 3,6 auf 4,5 (von 5) im Vergleich zum Standard-GPT-4 steigern.

Empfehlung

Harvey, ein KI-Tool für Rechtsanwälte, soll durch Anpassungen während des gesamten Trainingsprozesses eine Steigerung der faktischen Antworten zu Rechtsfragen um 83 Prozent erreicht haben. Die Anwälte bevorzugten in 97 Prozent der Fälle die Ausgaben des angepassten Modells im Vergleich zu GPT-4. OpenAI ist ein Investor von Harvey.

Harvey GPT-4, ohne (links) und mit Fine-Tuning (rechts). | Video: OpenAI

Ein erster unabhängiger Test des GPT-4-Feintunings durch die Datenanalyseplattform Supersimple zeigte auch die Herausforderungen auf. Trotz einer Leistungsverbesserung von 56 Prozent gegenüber GPT-3.5 waren die Vorteile des GPT-4-Feintunings geringer als beim Wechsel von GPT-3 zu GPT-3.5. Außerdem zeigte das feingetunte GPT-4 weiterhin Schwächen bei breiten und offenen Fragen und hatte eine deutlich höhere Latenz und höhere Kosten als GPT-3.5.

Fine-Tuning kann Modellen helfen, Inhalte besser zu verstehen und das vorhandene Wissen und die Fähigkeiten eines Modells für eine bestimmte Aufgabe zu erweitern. In Fachkreisen wird diskutiert, ob das Lernen aus vielen Beispielen direkt im Prompt ("Many-Shot In-Context Learning") effizienter sein könnte als das vergleichsweise aufwändigere Fine-Tuning. Zumindest ist es einfacher zu testen.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • OpenAI kündigt neue Funktionen für das Self-Service-Feintuning von GPT-3.5 über die API an. Laut OpenAI haben bislang Tausende von Unternehmen Hunderttausende angepasste Modelle trainiert.
  • OpenAI erweitert zudem sein Programm für kundenspezifische Modelle. In Zusammenarbeit mit den technischen Teams von OpenAI können Unternehmen mittels "Assisted Fine-Tuning" kundenspezifische GPT-4 Modelle entwickeln, die über die Möglichkeiten der Fine-Tuning API hinausgehen und die Leistung für spezifische Anwendungsfälle optimieren.
  • Erste Tests und Kundenbeispiele zeigen die Potenziale und Grenzen des Fine-Tunings von GPT-4. Während einige Unternehmen signifikante Verbesserungen erzielen konnten, bleiben Herausforderungen wie hohe Latenzen und Kosten sowie Schwächen bei breiten, offenen Fragen.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!