Inhalt
summary Zusammenfassung

Mit StableCode veröffentlicht Stability AI ein umfangreiches Sprachmodell zur Codegenerierung als Open-Source-Software unter der Apache-Lizenz, Version 2.0.

Laut Stability AI basiert StableCode auf drei Modellen: Das drei Milliarden Parameter umfassende Basismodell, basierend auf Eleuthers GPT-NeoX, das mit zahlreichen Programmiersprachen aus dem BigCode-Datensatz vortrainiert und dann mit weiteren Programmiersprachen wie Python, Go, Java, Javascript, C, Markdown und C++ mit insgesamt 560 Milliarden Token erweitert wurde.

Auf dem Basismodell baut ein Instruktionsmodell auf, das mit konkreten Anwendungsbeispielen zur "Lösung komplexer Programmieraufgaben" nach der Alpaca-Formel verfeinert wurde. Dazu verwendete Stability AI insgesamt 120.000 Paare von Anweisungen und beispielhaften Lösungen.

Stability AI legt in der Ankündigung keine Bewertung der Leistungsfähigkeit des Modells im Vergleich zu bestehenden Modellen wie Starcoder oder Github Copilot vor.

Anzeige
Anzeige

StableCode 16K: Code-Modell mit großem Kontextfenster

Neben dem Standardmodell mit einem 4K-Kontextfenster gibt es StableCode auch in einer 16K-Variante. Durch das größere Kontextfenster kann das Modell zur Lösung einer Aufgabe mehr Code auf einmal betrachten und so möglicherweise besseren Code generieren.

Laut Stability AI kann das 16K-Modell das Äquivalent von bis zu fünf mittelgroßen Python-Dateien gleichzeitig überprüfen oder bearbeiten, was besonders Anfängern beim Lernen helfen soll. Beide Modelle können einzelne oder mehrere Zeilen Code generativ schreiben und vervollständigen.

"Menschen aus allen Bereichen werden bald in der Lage sein, Code zu erstellen, um ihre alltäglichen Probleme zu lösen und ihr Leben mit KI zu verbessern, und wir würden gerne dabei helfen, dass das passiert", schreibt das Unternehmen.

Neben der Version 1.0 des Bildmodells SD XL hat Stability AI im April sein erstes eigenes Open-Source-Sprachmodell StableLM sowie "Free Willy" veröffentlicht, ein auf Metas Llama v2 basierendes Sprachmodell, das mit einem synthetischen Datensatz verfeinert wurde. Es soll die Leistung des Originalmodells und teilweise von GPT-3.5 (ChatGPT) erreichen und übertreffen.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Stability AI veröffentlicht StableCode, ein Open-Source-Sprachmodell zur Codegenerierung, das auf drei Modellen basiert und eine Vielzahl von Programmiersprachen unterstützt.
  • Das StableCode-Modell ist in einer 4K- und einer 16K-Version verfügbar. Das größere Kontextfenster der 16K-Version soll besonders Anfängern beim Lernen helfen.
  • Stability AI hat vor kurzem auch sein erstes eigenes Open-Source-Sprachmodell StableLM und "Free Willy" veröffentlicht, ein auf Meta Llama v2 basierendes Sprachmodell, das die Leistung von GPT-3.5 teilweise erreichen und übertreffen soll.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!