- KI-Nachtraining wird offizielle Funktion
Update vom 15. Dezember 2021:
OpenAI bietet das GPT-3-Nachtraining mit eigenen Daten ab sofort als offizielles Feature an. Laut OpenAI reichen weniger als 100 Datenbeispiele für die Feinabstimmung auf etwa eine eigene Begriffswelt und andere Aufgaben im Bereich der Sprachgenerierung.
Das Nachtraining macht den Einsatz von GPT-3 laut OpenAI verlässlicher, günstiger, schneller und flexibler. Ein bestehender GPT-3-Kunde konnte über das Nachtraining laut OpenAI die Anzahl korrekter Ausgaben von 83 Prozent auf 95 Prozent erhöhen, ein anderer soll Fehlerraten um die Hälfte reduziert haben.
Für das Nachtraining genügt neben dem zu trainierenden Datensatz eine Zeile Code, die in die Kommandozeile der GPT-3-API eingegeben wird. OpenAI stellt hier eine Dokumentation für das Nachtraining zur Verfügung.
Auch Microsoft bietet bei der Azure GPT-3-Implementierung eine Funktion für zusätzliches Datentraining an.
Ursprünglicher Artikel vom 18. Juli 2021:
OpenAIs Text-KI GPT-3 lässt sich jetzt über eine API nachtrainieren. Das soll bessere Ergebnisse für Kunden ermöglichen.
OpenAI bietet seit Juni 2020 Zugriff auf GPT-3 über eine API an. Im September 2020 endete die kostenlose Beta-Phase und OpenAI gab Preise bekannt. Seit der Veröffentlichung des API-Zugangs gibt es hunderte Apps, die auf GPT-3 setzen, darunter Feedback-Software wie Viable, Datensammler wie Airpaper oder die Suchengine Algolia.
Der Zugriff über die API erlaubte jedoch bisher keine Feinjustierung (fine-tuning) von GPT-3, der Prozess bei dem mit unglaublich vielen Daten vortrainierte KI-Modelle für spezielle Aufgaben nachtrainiert werden. Stattdessen müssen Nutzer die Art der gewünschten Ausgabe von GPT-3 über das Eingabefeld mit Beispielen programmieren.
Für spezialisierte Modelle braucht es Feinabstimmung per Datentraining
Ein Beispiel-Szenario: Wer aus den Daten seiner Kunden Tabellen generieren möchte, muss vor jede Kundeneingabe ein Beispiel oder mehrere Beispiele einer Datenübertragung in eine Tabelle anhängen. Die werden dann über die API an GPT-3 gefüttert und die Text-KI vervollständigt die Eingabe ausgehend von den Beispielen und überträgt die Kundeneingabe in eine Tabelle.
Die Menge an möglichen Beispielen ist jedoch stark eingeschränkt und die "Eingabe-Design" genannte Methode reicht daher nicht an die Verbesserungsmöglichkeiten von richtiger Feinjustierung mit größeren Datensätzen heran.
Großen Kunden bot OpenAI daher bereits direkten Zugriff auf GPT-3 und mit diesem die Feinjustierungs-Option. OpenAIs Partner Microsoft veröffentlichte im Mai 2021 ein erstes eigenes GPT-3-basiertes Produkt: In der Entwicklungsplattform Power Apps verwandelt GPT-3 natürliche Sprache in Code-Vorschläge. In Zukunft soll GPT-3 auch der Azure-Cloud und anderen Microsoft-Produkten zugutekommen.
Ende Juni veröffentlichten Github und OpenAI gemeinsam Copilot, einen KI-Assistenten für Programmierer. Copilot basiert auf OpenAIs Codex, einer GPT-3-Variante, die mit auf Github verfügbaren Code trainiert wurde. Copilot soll im Spätsommer ebenfalls über eine API verfügbar und an die jeweiligen Bedürfnisse von Unternehmen anpassbar sein.
KI-Spezialisierung: Feinjustierung für GPT-3 startet als Beta
Diese Individualisierung von GPT-3 ist auch durch Feinjustierung möglich, denn OpenAI bietet das Daten-Nachtraining jetzt als Beta-Funktion für GPT-3 an: GPT-3 kann über eine neue API nachtrainiert werden. OpenAI verspricht hierbei bessere Ergebnisse im Vergleich zum eingangs erwähnten Eingabe-Design.
Kunden können während der Beta zehn kostenlose Feinabstimmungsanläufe pro Monat starten. Die Größe der Datensätze sind auf 2,5 Millionen Tokens beschränkt, das entspricht etwa 80 bis 100 Megabyte Text. Zum Vergleich: Das Eingabe-Design an GPT-3 ist auf 2.048 Tokens beschränkt, die Möglichkeiten wachsen also beträchtlich.
Das größte GPT-3-Modell Davinci ist von der Feinjustierung ausgeschlossen, lediglich die kleineren Modelle Curie, Babbage und Ada können nachtrainiert werden. Die Kosten pro Token für jede Anfrage steigen für nachtrainierte Modelle, etwa bei Curie von 0,006 auf 0,03 US-Dollar. Allerdings sind die Anfragen durch die Feinjustierung nicht mehr auf Beispiele in der Eingabe angewiesen und so insgesamt kürzer.
Laut OpenAI kann GPT-3 mit der neuen Beta-Funktion etwa zum besseren Chatbot trainiert, auf Produktbeschreibungen spezialisiert oder zum Werbespezialisten werden. Nachtrainierte Modelle fallen weiterhin unter die Nutzungsbedingungen und Sicherheitsrichtlinien von OpenAI.
Alle Informationen zur Feinjustierung für GPT-3 gibt es auf OpenAIs API-Webseite.
Titelbild: OpenAI
