BigCode, eine gemeinsame Initiative von Hugging Face und ServiceNow, stellt StarCoder und StarCoderBase vor, zwei große Open-Source-Sprachmodelle für Code. Besonderen Wert legen die Forschenden auf eine transparente und urheberrechtskonforme Datenauswahl.
Die 15,5 Milliarden Parameter umfassenden Starcoder-Modelle können Code in 86 Programmiersprachen generieren. Die Forschenden verwendeten unter anderem eine Methode namens "Multi Query Attention", die es den Starcoder-Modellen erlaubt, sich auf mehrere Stellen im Code gleichzeitig zu konzentrieren, anstatt jedes Token nacheinander abzuarbeiten. Dadurch können Starcoder-Modelle größere Codemengen (8K-Kontextfenster) schneller und effizienter lesen, was wiederum das Codeverständnis und die Codegenerierung beschleunigt.
Trainiert wurden die Starcoder-Modelle laut der beteiligten Forscherin Lubna Ben Allal mit stark kuratierten Daten, also mit viel menschlichem Input: 50 bis 100 Dateien für alle Endungen in den ausgewählten Programmiersprachen habe die Gruppe manuell gesichtet und geeignete Filter ausgewählt, so Ben Allal.
Ein Aufwand, der sich offenbar gelohnt hat: Beide Modelle schneiden in Benchmarks besser ab als jedes andere offene Modell, das mehrere Programmiersprachen unterstützt, und erreichen und übertreffen sogar das OpenAI-Modell "code-cushman-001".
StarCoder outperforms OpenAI's code-cushman-001 and all open code generation models on HumanEval. On other benchmarks like DS-1000 the gap is even larger.
DS-1000 includes more diverse and realistic data science problems spanning 7 libraries. pic.twitter.com/H8IKs0rhqd
— Loubna Ben Allal (@LoubnaBenAllal1) May 9, 2023
Damit reiht sich Starcoder in die immer länger werdende Liste von KI-Modellen ein, die mit proprietären industriellen KI-Modellen konkurrieren können, auch wenn die Code-Leistung von Starcoder noch hinter GPT-4 zurückbleiben dürfte.
Starcoder-Team passt bei Datenschutz und Copyright auf
Beide Modelle sollen auch im Bereich der Data Governance einen neuen Standard setzen. Das Team hat für das Datentraining laut eigenen Angaben nur zulässige Daten ohne Personenbezug verwendet und zusätzlich einen Opt-Out-Mechanismus sowie eine Code-Snippet-Suchmaschine implementiert, falls man überprüfen möchte, ob der eigene Code in den verwendeten Daten aus der Datenbank "The Stack" enthalten ist.
Das Team veröffentlicht das StarCoder-Modell unter der Open Responsible AI Model-Lizenz, die auch eine kommerzielle Nutzung ermöglicht. Das Modell ist von Haus aus nicht anweisungsoptimiert, kann aber mit wenigen Daten als technischer Assistent optimiert werden. Alle relevanten weiterführenden Informationen und Links sind unter HuggingFace Starcoder zu finden.
