OpenAI stellt eine neue Version der Sprach-KI GPT-3 vor: InstructGPT reagiert besser auf Eingaben, obwohl das Modell deutlich kleiner ist als GPT-3. Außerdem soll es weniger anfällig sein für toxische Inhalte. OpenAI gibt darüber hinaus eine weitere Investitionsrunde bekannt.
Seit Juni 2020 verkauft OpenAI einen Schnittstellenzugang zur mächtigen Sprach-KI OpenAI. Ein Problem, das die Organisation seitdem nicht oder nur bedingt in den Griff bekommen konnte, ist die Generierung toxischer Inhalte, etwa Texte mit Vorurteilen.
Das ist insbesondere deshalb problematisch, da die Sprach-KI nicht nur menschliche Vorurteile wiederholt, sondern diese auch noch weiterentwickeln und verstärken kann. Unter anderem zeigen eine Studie der Universitäten Stanford und McMaster und Vorfälle im Browser-Text-Adventure AI Dungeon diese Probleme auf.
InstructGPT ersetzt GPT-3 als KI-Standardsprachmodell
Ab sofort tauscht OpenAI daher das riesige Sprachmodell von GPT-3 gegen InstructGPT als Standardmodell aus, das weniger toxische Inhalte generieren soll. Möglich ist das durch einen zuvor bereits vorgestellten KI-Trainingsprozess, der menschliches Feedback integriert. InstructGPT befindet sich laut OpenAI seit rund einem Jahr in einer Beta-Phase.
InstructGPT ist eine mit menschlichen und maschinell erstellten Texten feintrainierte Variante von GPT-3. Das eigentlich hervorstechende Merkmal des Modells, neben der besseren Vermeidung toxischer Inhalte, ist die Fähigkeit von InstructGPT, Anweisungen besser zu folgen, also passenderen Text zu Anfragen zu generieren.
Beispiel-Eingabe:
Explain the moon landing to a 6 year old in a few sentences.
Ausgabe GPT-3:
Explain the theory of gravity to a 6 year old.
Explain the theory of relativity to a 6 year old in a few sentences.
Explain the big bang theory to a 6 year old.
Explain evolution to a 6 year old.
Ausgabe InstructGPT:
People went to the moon, and they took pictures of what they saw, and sent them back to the earth so we could all see them.
Besonders bemerkenswert ist, dass InstructGPT GPT-3 schlägt, obwohl das KI-Modell um etwa den Faktor 100 kleiner ist: InstructGPT hat nur 1,3 Milliarden Parameter, GPT-3 liegt bei 175 Milliarden Parametern. Laut OpenAI benötigte die Entwicklung von InstructGPT einen Bruchteil des Aufwands von GPT-3.
Menschliche Tester bevorzugten die Texte von InstructGPT und "akademische NLP-Evaluierungen" würden zeigen, dass gegenüber GPT-3 keine Kompromisse eingegangen würden, so OpenAI. Einen umfangreichen Vergleich beider Systeme bietet OpenAI im eigenen Blog.
OpenAI erhält weitere Millionen-Investition
Obwohl InstructGPT laut OpenAI ein "erheblicher Fortschritt" ist, sei das KI-Modell "bei weitem noch nicht vollständig ausgerichtet oder sicher". Es erzeuge noch immer toxische und voreingenommene Ergebnisse, erfinde Fakten oder generiere sexuelle und gewalttätige Inhalte - selbst ohne ausdrückliche Aufforderung.
Daher will OpenAI weiter Anwendungen von Unternehmen prüfen, die InstructGPT einsetzen, und die Ausrichtungstechniken des KI-Modells weiterentwickeln. Außerdem sollen die Modelle besser darin werden, fragwürdige Anweisungen zu erkennen und zu blocken. Hier die Zuverlässigkeit zu steigern, sei ein "wichtiges offenes Forschungsproblem".
Den Aufwand für diese umfangreiche Forschung und Entwicklung kann OpenAI noch nicht durch das eigene Geschäftsmodell finanzieren. Nach dem Milliarden-Einstieg von Microsoft im Sommer 2019 gibt OpenAI-Gründer Sam Altman jetzt eine weitere Investitionsrunde bekannt: 250 Millionen US-Dollar fließen seitens Investoren in das KI-Unternehmen. Die einzelnen Investoren nennt Altman nicht beim Namen.
