Forschende trainieren ein Meta-Sprachmodell mit von OpenAIs GPT-3.5 generierten Texten für weniger als 600 US-Dollar - und erreichen eine ähnliche Leistung.
Große Sprachmodelle zu trainieren, ist teuer, und leistungsfähige Modelle bleiben das Monopol großer Technologiefirmen - oder? Forschende in Stanford trainieren die sieben Milliarden Parameter umfassende Variante des kürzlich von Meta vorgestellten LLaMA-Modells mit 52.000 Beispielen für das Befolgen von Instruktionen, die von OpenAIs GPT-3.5 (text-davinci-003) generiert wurden.
Das Training mit Instruktionen ist eine der zentralen Techniken, die dieses OpenAI-Modell dem ursprünglichen GPT-3-Modell überlegen macht, und die verwendeten Trainingsdaten sind Eigentum von OpenAI.
Während RLHF für die Ausrichtung der Modelle z.B. in ChatGPT oder auch GPT-4 entscheidend ist, gründen die wesentlichen Fähigkeiten der Modelle auf ihrem ursprünglichen Training - also auch dem Training mit Instruktionsbeispielen.
Stanfords Alpaca trainiert mit OpenAI-Outputs
In ihrer Arbeit hat die Stanford-Gruppe KI-generierte Trainingsbeispiele für das LLaMA-Training verwendet, um Alpaca 7B zu trainieren, ein Sprachmodell, das laut der Forschenden viele GPT-3.5-ähnliche Verhaltensweisen aufweist. In einem Blindtest mit Eingaben aus dem Self-Instruct Evaluation Set zwischen OpenAIs GPT-3.5 und Alpaca 7B ist die Leistung der beiden Modelle laut Team vergleichbar.
Alpaca zeigt die bei anderen Sprachmodellen üblichen Probleme wie Halluzinationen, Toxizität und Stereotypen. Insbesondere Halluzinationen treten häufiger auf als beim OpenAI-Modell.
Das Team veröffentlicht eine interaktive Demo, den Trainingsdatensatz und den Trainingscode. Es hat zudem Meta kontaktiert, um die Erlaubnis zur Veröffentlichung des Modells zu erhalten. Mit der Veröffentlichung möchte das Team die Erforschung von Sprachmodellen ermöglichen, die mit Instruktionen trainiert wurden. Um Missbrauch zu verhindern, hat das Team einen Content-Filter über die OpenAI API sowie ein Wasserzeichen in die Demo integriert.
Das Modell darf nicht für kommerzielle Zwecke verwendet werden. Neben Sicherheitsbedenken und der nicht-kommerziellen Lizenz des LLaMA-Modells von Meta verweist das Team auf die Nutzungsbedingungen der OpenAI GPT-3.5, wonach das Modell nicht zur Entwicklung von KI-Modellen verwendet werden darf, die mit OpenAI konkurrieren.
Alpacas Training war so günstig, dass OpenAI ein Problem hat
Der letzte Punkt zeigt, dass OpenAI sich bewusst ist, dass der Output ihrer eigenen Modelle verwendet werden kann, um potenzielle Kopien zu füttern. Mit dem Leak der größeren LLaMA-Modelle mit bis zu 65 Milliarden Parametern ist es vorstellbar, dass solche Projekte bereits im Entstehen sind - und auch den Output von GPT-4 missbrauchen könnten.
Neben der beeindruckenden Leistung für ein so kleines Modell zeigt Alpaca auch, wie erschwinglich KI-Training geworden ist: Das Team trainierte Alpaca 7B für weniger als 600 US-Dollar. Größere Modelle werden teurer sein, aber die zu erwartenden Kosten dürften in einem Bereich liegen, der für Unternehmen oder Crowd-Sourcing-Projekte leicht finanzierbar ist.
Der Alignment-Forscher Eliezer Yudkowsky fasst das Problem, das sich daraus für Unternehmen wie OpenAI ergibt, wie folgt zusammen: "Wenn du einen ausreichend breiten Zugang zu deinem KI-Modell gewährst, selbst über eine kostenpflichtige API, übergibst du deine geschäftlichen Kronjuwelen an deine Konkurrenten, die dein Modell praktisch klonen können, ohne all die harte Arbeit, die du in den Aufbau deines eigenen Datensatzes für das Feintuning investiert hast".
Was OpenAI dagegen tun kann? Nicht viel, meint Yudkowsky: "Wenn du es schaffst, die Kommerzialisierung einer Imitation, die mit deinen Eingaben/Ausgaben trainiert wurde, einzuschränken - eine rechtliche Perspektive, die bisher noch nicht getestet wurde - bedeutet das, dass die Checkpoints der konkurrierenden Modelle auf Bittorrent landen."
I don't think people realize what a big deal it is that Stanford retrained a LLaMA model, into an instruction-following form, by **cheaply** fine-tuning it on inputs and outputs **from text-davinci-003**.
It means: If you allow any sufficiently wide-ranging access to your AI… https://t.co/rr5zag6C8Z
— Eliezer Yudkowsky (@ESYudkowsky) March 14, 2023
Hier könnt ihr Stanfords Alpaca 7B kostenlos testen.