Mit StableCode veröffentlicht Stability AI ein umfangreiches Sprachmodell zur Codegenerierung als Open-Source-Software unter der Apache-Lizenz, Version 2.0.
Laut Stability AI basiert StableCode auf drei Modellen: Das drei Milliarden Parameter umfassende Basismodell, basierend auf Eleuthers GPT-NeoX, das mit zahlreichen Programmiersprachen aus dem BigCode-Datensatz vortrainiert und dann mit weiteren Programmiersprachen wie Python, Go, Java, Javascript, C, Markdown und C++ mit insgesamt 560 Milliarden Token erweitert wurde.
Auf dem Basismodell baut ein Instruktionsmodell auf, das mit konkreten Anwendungsbeispielen zur "Lösung komplexer Programmieraufgaben" nach der Alpaca-Formel verfeinert wurde. Dazu verwendete Stability AI insgesamt 120.000 Paare von Anweisungen und beispielhaften Lösungen.
Stability AI legt in der Ankündigung keine Bewertung der Leistungsfähigkeit des Modells im Vergleich zu bestehenden Modellen wie Starcoder oder Github Copilot vor.
StableCode 16K: Code-Modell mit großem Kontextfenster
Neben dem Standardmodell mit einem 4K-Kontextfenster gibt es StableCode auch in einer 16K-Variante. Durch das größere Kontextfenster kann das Modell zur Lösung einer Aufgabe mehr Code auf einmal betrachten und so möglicherweise besseren Code generieren.
Laut Stability AI kann das 16K-Modell das Äquivalent von bis zu fünf mittelgroßen Python-Dateien gleichzeitig überprüfen oder bearbeiten, was besonders Anfängern beim Lernen helfen soll. Beide Modelle können einzelne oder mehrere Zeilen Code generativ schreiben und vervollständigen.
"Menschen aus allen Bereichen werden bald in der Lage sein, Code zu erstellen, um ihre alltäglichen Probleme zu lösen und ihr Leben mit KI zu verbessern, und wir würden gerne dabei helfen, dass das passiert", schreibt das Unternehmen.
Neben der Version 1.0 des Bildmodells SD XL hat Stability AI im April sein erstes eigenes Open-Source-Sprachmodell StableLM sowie "Free Willy" veröffentlicht, ein auf Metas Llama v2 basierendes Sprachmodell, das mit einem synthetischen Datensatz verfeinert wurde. Es soll die Leistung des Originalmodells und teilweise von GPT-3.5 (ChatGPT) erreichen und übertreffen.
