OpenAI veröffentlicht ein neues Sprachmodell für GPT-3, das mit menschlichem Feedback trainiert wurde. Es bringt laut OpenAI zahlreiche Verbesserungen.
Das Modell "text-davinci-003" basiert auf den von OpenAI Anfang des Jahres vorgestellten InstructGPT-Modellen, die mit menschlichem Feedback optimiert wurden. Schon bei diesen Modellen zeigte sich, dass mit RLHF (Reinforcement Learning with Human Feedback) trainierte KI-Modelle bei gleichem oder sogar geringerem Parameterumfang bessere Ergebnisse produzieren können.
Laut des OpenAI-Alignment-Forschers Jan Leike entspricht "text-davinci-003" weitgehend den InstructGPT-Modellen, sei aber nicht identisch. Das neue Modell schneide bei "menschlichen Präferenzen besser ab, ohne grundsätzlich leistungsfähiger zu sein" als das zugrundeliegende Basismodell. Für das Feintuning benötigte OpenAI laut Leike "sehr wenig Rechenleistung und Daten" in Relation zur Training des Basismodells.
OpenAI stellte den Trainingsprozess mit menschlichem Feedback erstmals im September 2019 vor. Die KI-Firma hält menschliches Feedback im KI-Trainingsprozess, und damit die Ausrichtung von KI entlang menschlicher Bedürfnisse, für das Fundament menschenfreundlicher KI.
Leike weist darauf hin, dass das neue GPT-Modell noch immer "wichtige Einschränkungen" habe und sich etwa Sachverhalte teils einfach ausdenke. Solche Fehltritte sollten jetzt jedoch "hoffentlich" weniger oft und weniger stark auftreten.
The model definitely still has important limitations! Basically all of the ones from our previous blog post will still apply, but hopefully less severe / more rarely now.https://t.co/r8zWWYSIJ6
— Jan Leike (@janleike) November 28, 2022
Neues GPT-3-Modell generiert besseren Text und kann komplexere Anweisungen verarbeiten
"text-davinci-003" kann laut OpenAI "klarere, ansprechendere und überzeugendere Inhalte" erstellen und komplexere Anweisungen verarbeiten. Bei Anweisungen stellt man GPT-3 zusätzlich zur reinen Aufforderung, welchen Text es generieren soll, Text-Beispiele zur Verfügung oder beschreibt durchzuführende Arbeitsschritte.
Über dieses One-Shot-Prompting fanden Nutzende nach der GPT-3-Veröffentlichung Fähigkeiten des Modells heraus, die über die reine Texterstellung hinausgehen, und die von OpenAI nicht vorgesehen waren.
GPT-3 kann etwa Excel steuern, Texte übersetzen oder in Gedankenketten argumentieren. Solche entstehenden Fähigkeiten sind ein Phänomen großer Sprachmodelle. Laut OpenAI bietet das neue Sprachmodell mehr kreativen Spielraum in diesem Bereich.
"text-davinci-003" kann laut OpenAI zudem längere Texte schreiben. Die Sprach-KI könne daher jetzt Aufgaben übernehmen, die bislang nicht realisierbar waren. Das folgende Beispiel vergleicht denselben Prompt zwischen altem und neuen Modell.
text-davinci-002:
I am trying to write a web application. What backend frameworks could I use, and what are their pros and cons?
There are many backend frameworks that could be used for a web application. Some popular ones include Django, Ruby on Rails, and Express.js. Each of these frameworks has its own pros and cons, so it is important to choose one that will fit the specific needs of your application.
`text-davinci-003:
I am trying to write a web application. What backend frameworks could I use, and what are their pros and cons?
1. Node.js: Node.js is a JavaScript-based runtime environment that is popular for writing backend applications. Pros: Node.js is fast, lightweight, and easy to learn, and it has a large community of developers. Cons: Node.js can be difficult to debug and there is a lack
of robust tools for building large-scale applications.2. Django: Django is a popular Python-based web framework. Pros: Django is powerful and well-documented, making it easy to get started. It also supports a wide range of databases and APIs, allowing you to easily integrate with other services. Cons: Django can be difficult to scale for large applications and can be slow for certain types of requests.
3. Ruby on Rails: Ruby on Rails is a popular web framework based on the Ruby programming language. Pros: Ruby on Rails is easy to learn and can be used to quickly build powerful web applications. It also has a wide range of built-in features, such as authentication and authorization. Cons: Ruby on Rails can be slow and resource-intensive, and it can be difficult to scale.
Die Preise für das neue Modell entsprechen den bisherigen. Laut Gerüchten bei Twitter und Reddit könnte OpenAI den GPT-3-Nachfolger GPT-4 im ersten Quartal 2023 vorstellen. Derzeit läuft bei OpenAI ein Förderprogramm, das ersten Teilnehmer:innen wohl Zugriff auf GPT-4 gibt.
OpenAI-Mitgründer Wojciech Zaremba beschrieb im September mögliche neue Fähigkeiten kommender Sprachmodelle. Er glaubt, dass sich KI auf die menschliche Kommunikation ähnlich stark oder sogar stärker auswirken wird als das Internet.
