Das britische KI-Unternehmen Stability AI ist bekannt für seine Bild-KI Stable Diffusion. Mit StableLM bringt es nun eine Reihe von Open-Source-Sprachmodellen auf den Markt.
StableLM-Alpha ist ab sofort in zwei Größen mit 3 und 7 Milliarden Parametern verfügbar. Größere Modelle mit 15 bis 65 Milliarden Parametern sollen folgen.
Die Modelle stehen unter der Creative-Commons-Lizenz CC BY-SA-4.0 und können somit kommerziell genutzt werden, sofern auf Stability AI verwiesen wird. Für Forschungszwecke sind die Modelle ohnehin freigegeben.
StableLM basiert wie viele andere Open-Source-Sprachmodelle auf dem Datensatz "The Pile" von EleutherAI, allerdings in einer "experimentellen Version", die mit 1,5 Billionen Token dreimal so groß sein soll wie bisher. Details zum Datensatz will Stability AI "zu gegebener Zeit" nennen.
Stability AI befindet sich derzeit in einem Rechtsstreit mit Getty Images um das Bildmodell Stable Diffusion, für dessen Training es ohne ausdrückliche Erlaubnis Bilddaten von Getty Images gescrapet hat - vielleicht ist das ein Grund für die Zurückhaltung bei der Transparenz des Datensatzes, vielleicht aber auch das derzeit sehr kompetitive Umfeld. Finanzierungsbedarf besteht wohl auch bei Stability AI.
Wenige Parameter, aber gute Daten
Trotz der geringen Anzahl an Parametern (3 und 7 Milliarden) zeige StableLM-Alpha eine "überraschend gute Performance", schreibt Stability AI. Die Qualität des Sprachmodells ergebe sich aus der "Vielfalt des Datensatzes". Benchmarks veröffentlicht das Start-up nicht.
Das Kontextfenster von StableLM-Alpha, also wie viele Satz- und Wortbestandteile (Tokens) das Sprachmodell gleichzeitig für eine Antwort berücksichtigen kann, liegt bei 4096 Tokens und damit auf dem Niveau eines GPT-3-basierten ChatGPT.
Die StableLM-Alpha-Modelle mit 3 und 7 Milliarden Tokens sind ab sofort auf Github verfügbar. Modelle mit 15, 30 und 65 Milliarden Parametern sollen in Kürze folgen, ebenso wie eine technische Dokumentation und Trainingsparameter. Ein Modell in GPT-3 Größe mit 175 Milliarden Parametern ist in Planung.
Ergänzend zu StableLM-Alpha veröffentlicht Stability AI nach der Alpaca-Formel feingetunte Instruction-Modelle. Als Datensatz hierfür verwendete Stability AI eine Kombination der fünf Datensätze hinter Alpaca, GPT4All, Dolly, ShareGPT und HH.
Diese Modelle sollen als "StableLM-Tuned-Alpha" veröffentlicht werden, sind aber ausschließlich für Forschungszwecke gedacht und dürfen nicht kommerziell genutzt werden (CC BY-NC-SA 4.0). Eine Demo des 7B-Tuned-Modells gibt es auf HuggingFace
Stability AI kündigt außerdem ein Programm für einen RLHF-basierten Open-Source-Datensatz speziell für KI-Assistenten an, an dem es gemeinsam mit Partnern wie der OpenAssistant-Community arbeiten will. Mit einem solchen Datensatz könnten die StableLM-Alpha-Modelle möglicherweise so fein abgestimmt werden, dass sie für den kommerziellen Einsatz geeignet sind.
Derzeit ist dies nicht der Fall, da der Trainingsprozess für StableLM-Tuned-Alpha Text verwendet, der von ChatGPT generiert wurde. Eine kommerzielle Nutzung würde gegen die Nutzungsbedingungen von OpenAI verstoßen. Das Qualitätsgeheimnis von ChatGPT und Co. ist allerdings genau dieses RLHF-Training.
Während Stable Diffusion für die bildgenerierende Open-Source-KI ein Meilenstein war und ist, dürfte es Stability AI bei Sprachmodellen ungleich schwerer haben, einen ähnlichen Erfolg zu erzielen: Mittlerweile gibt es eine Vielzahl von Open-Source-Angeboten, die Qualität steigt kontinuierlich - der kürzlich veröffentlichte OpenAssistant etwa setzt qualitativ neue Maßstäbe bei dialogorientierten Open-Source-Sprachmodellen und wird kontinuierlich weiterentwickelt.
