Aktualisiert am 20. September 2023:
OpenAI rollt ein neues Interface für das Fine-tuning aus, in dem der Status des Fine-tunings dokumentiert wird. In den nächsten Monaten soll das Fine-tuning über das Interface möglich und damit voraussichtlich für mehr Nutzerinnen und Nutzer einfach zugänglich sein.
Außerdem können ab sofort drei GPT 3.5 Modelle mit eigenen Daten feingetunt werden, bisher war diese Funktion nur für ein Modell möglich.
Originalartikel vom 22. August 2023:
Für GPT-3.5 Turbo ist jetzt das Finetuning verfügbar, GPT-4 folgt im Herbst. OpenAI bietet auch günstigere GPT-3 Modelle an.
Finetuning für GPT-3.5 Turbo ist ab heute verfügbar. Das Finetuning für GPT-4 wird ebenfalls noch in diesem Jahr verfügbar sein, kündigte das Unternehmen an.
Mit Finetuning können benutzerdefinierte Daten in GPT-3.5 Turbo eingespeist werden, um die Fähigkeiten für bestimmte Aufgaben zu verbessern. Zu den Anwendungsfällen gehören die Verbesserung der Steuerbarkeit, die Konsistenz der Ausgabeformatierung und die Anpassung von Stil und Ton. Das Finetuning kann auch die Länge von Prompts um bis zu 90 % reduzieren, so OpenAI - und damit Kosten sparen.
Erste Tests hätten gezeigt, dass Finetuning-Version von GPT-3.5 Turbo die Leistung von GPT-4 in speziellen Anwendungen erreichen oder übertreffen können, so OpenAI.
OpenAI ersetzt alte GPT-3-Modelle durch babbage-002 und davinci-002
Die Kosten für das Finetuning lassen sich in anfängliche Trainings- und späteren Nutzungskosten aufteilen:
- Training: $0.008 / 1K Token
- Usage Input: $0,012 / 1K Token
- Usage Output: $0,016 / 1K Token
OpenAI hat ebenfalls angekündigt, dass die GPT-3 Basismodelle (ada, babbage, curie und davinci) am 4. Januar 2024 eingestellt werden. Als Ersatz bietet OpenAI ab sofort die Modelle babbage-002 und davinci-002 an, die sowohl als Basis- als auch als Finetuning-Modelle verfügbar sind.
Diese Modelle können über den neuen API-Endpunkt /v1/fine_tuning/jobs feingetunt werden und sind wesentlich günstiger als GPT-3.5 Turbo. Die vollständige Preisliste ist im OpenAI-Blog zu finden.
Wie bei allen APIs von OpenAI "sind die Daten, die über die Finetuning-API ein- und ausgehen, Eigentum des Kunden und werden weder von OpenAI noch von einer anderen Organisation verwendet, um andere Modelle zu trainieren", so das Unternehmen.
