Update vom 23. Mai 2022:
Meta veröffentlicht nach den OPT 125 Millionen bis 30 Milliarden Parameter-Modellen (siehe Meldung unten) jetzt das größere OPT-66B Sprachmodell. Laut Meta ist es das bislang größte Open-Source-KI-Sprachmodell, das ohne Restriktionen zugänglich ist.
Das 66 Milliarden Parameter-Modell und alle kleineren Varianten könnt ihr auf der OPT-Github-Seite herunterladen. Das größte Modell mit 175 Milliarden Parametern ist wie gehabt nur auf Anfrage zugänglich.
Ursprünglicher Artikel vom 4. Mai 2022:
Meta veröffentlicht kostenlose GPT-3-Alternative
Metas KI-Abteilung veröffentlicht ein umfangreich trainiertes Sprachmodell, um die Forschung insbesondere an den Schwachstellen von Sprach-KI voranzutreiben. Die kommerzielle Nutzung ist nicht gestattet.
OpenAIs Sprach-KI GPT-3 war ein Meilenstein der Entwicklung von KI-Systemen für natürliche Sprache. Erstmals konnte ein KI-Modell kurze Texte so glaubhaft und zusammenhängend formulieren, dass sie von Menschen nicht mehr als KI-generiert erkannt werden können. In der Folgezeit erwies sich das Modell als flexibel einsetzbar für viele weitere Anwendungsbereiche wie die Generierung von Code. Geringfügiges Nachtraining reichte OpenAI dafür aus.
Folglich sah OpenAI in GPT-3 erstmals ein Geschäftsmodell und bietet die Sprach-KI unter anderem über eine Schnittstelle an. Das eigentliche Modell ist für Forschende nicht verfügbar - was aber dem wissenschaftlichen Fortschritt zugutekommen würde.
In dieser Lücke positioniert sich jetzt Meta und bietet Forschenden sowie ausgewählten Partnern ein großes KI-Sprachmodell zur freien Untersuchung an.
Meta OPT: Großes KI-Sprachmodell für die Forschung
Der "Open-Pre-trained-Transformer" (OPT) ist laut Metas Forschenden in Bezug auf Leistung und Größe mit OpenAIs GPT-3 vergleichbar. Die größte Version von OPT hat 175 Milliarden Parameter - wie GPT-3. Allerdings war das KI-Training laut Meta deutlich effizienter: Es soll nur ein Siebentel des CO₂-Fußabdrucks von GPT-3 verursacht haben.
Das größte OPT-Modell mit 175 Milliarden Parametern will Meta auf Anfrage ausgewählten Partnern aus der Forschung, Industrie, Regierungen und Zivilgesellschaften zur Verfügung stellen. Die sollen so etwa Gewichtungen und Zusammenhänge des neuronalen Netzes bei der Sprachverarbeitung analysieren können.
Kleinere OPT-Modelle ab 125 Millionen bis 30 Milliarden Parameter stellt Meta frei zur Verfügung. Zusammen mit den Modellen veröffentlicht Meta außerdem den Code für das Training und eine Dokumentation des Trainingsverlaufs. Die Modelle dürfen nicht kommerziell verwendet werden (Lizenzvereinbarung).
Die Lücke zwischen Industrie und Forschung schließen
Meta hofft, dass die wissenschaftliche Gemeinschaft "klare Richtlinien" für den Umgang insbesondere mit den Problemen großer KI-Sprachmodelle findet wie Bias und Toxizität in KI-generierter Sprache. Forschungsarbeiten zeigten in der Vergangenheit unter anderem, dass GPT-3 in Trainingsdaten vorhandene Vorurteile nicht nur verstärkt, sondern zusätzlich neue generiert.
"Ohne direkten Zugang zu diesen Modellen sind die Forscher nur begrenzt in der Lage, Strategien zur Aufdeckung und Abschwächung möglicher Schäden zu entwickeln, sodass diese nur in den Händen derjenigen liegt, die über genügend Kapital verfügen, um Zugang zu Modellen dieser Größenordnung zu erhalten", schreibt Meta.
Die beschriebenen Probleme verzögern oder behindern den umfassenden Einsatz von KI-Sprachmodellen in der Praxis. Meta wiederum hat großes Interesse daran, entsprechende Modelle möglichst schnell und sicher auf den eigenen Plattformen einzusetzen, etwa für die Social-Media-Moderation oder die Sprachassistenz bei VR, AR und mit den eigenen Smart-Home-Geräten.
Insofern ergibt die Veröffentlichung von OPT für Meta Sinn, um den wissenschaftlichen Fortschritt zu beschleunigen. Zudem positioniert sich das Unternehmen durch die Veröffentlichung positiv beim raren wissenschaftlichen KI-Nachwuchs.
"Wir glauben, dass die gesamte KI-Gemeinschaft - akademische Forscher, Zivilgesellschaft, politische Entscheidungsträger und Industrie - zusammenarbeiten muss, um klare Richtlinien für verantwortungsvolle KI im Allgemeinen und verantwortungsvolle LLMs (große Sprachmodelle, Anm. d. Red.) im Besonderen zu entwickeln, da sie in vielen nachgelagerten Sprachanwendungen von zentraler Bedeutung sind", schreibt Metas Forschungsteam.
Ein viel breiteres Segment der KI-Gemeinschaft benötige Zugang zu großen KI-Sprachmodellen, um "reproduzierbare Forschung zu betreiben und das Feld gemeinsam voranzutreiben."
Die kleineren OPT-Modelle sind bei Github verfügbar, ein Antrag auf Zugang zum 175B-Modell kann hier gestellt werden.
