Inhalt
summary Zusammenfassung

BigCode, eine gemeinsame Initiative von Hugging Face und ServiceNow, stellt StarCoder und StarCoderBase vor, zwei große Open-Source-Sprachmodelle für Code. Besonderen Wert legen die Forschenden auf eine transparente und urheberrechtskonforme Datenauswahl.

Anzeige

Die 15,5 Milliarden Parameter umfassenden Starcoder-Modelle können Code in 86 Programmiersprachen generieren. Die Forschenden verwendeten unter anderem eine Methode namens "Multi Query Attention", die es den Starcoder-Modellen erlaubt, sich auf mehrere Stellen im Code gleichzeitig zu konzentrieren, anstatt jedes Token nacheinander abzuarbeiten. Dadurch können Starcoder-Modelle größere Codemengen (8K-Kontextfenster) schneller und effizienter lesen, was wiederum das Codeverständnis und die Codegenerierung beschleunigt.

Trainiert wurden die Starcoder-Modelle laut der beteiligten Forscherin Lubna Ben Allal mit stark kuratierten Daten, also mit viel menschlichem Input: 50 bis 100 Dateien für alle Endungen in den ausgewählten Programmiersprachen habe die Gruppe manuell gesichtet und geeignete Filter ausgewählt, so Ben Allal.

Ein Aufwand, der sich offenbar gelohnt hat: Beide Modelle schneiden in Benchmarks besser ab als jedes andere offene Modell, das mehrere Programmiersprachen unterstützt, und erreichen und übertreffen sogar das OpenAI-Modell "code-cushman-001".

Anzeige
Anzeige

Damit reiht sich Starcoder in die immer länger werdende Liste von KI-Modellen ein, die mit proprietären industriellen KI-Modellen konkurrieren können, auch wenn die Code-Leistung von Starcoder noch hinter GPT-4 zurückbleiben dürfte.

Starcoder-Team passt bei Datenschutz und Copyright auf

Beide Modelle sollen auch im Bereich der Data Governance einen neuen Standard setzen. Das Team hat für das Datentraining laut eigenen Angaben nur zulässige Daten ohne Personenbezug verwendet und zusätzlich einen Opt-Out-Mechanismus sowie eine Code-Snippet-Suchmaschine implementiert, falls man überprüfen möchte, ob der eigene Code in den verwendeten Daten aus der Datenbank "The Stack" enthalten ist.

Das Team veröffentlicht das StarCoder-Modell unter der Open Responsible AI Model-Lizenz, die auch eine kommerzielle Nutzung ermöglicht. Das Modell ist von Haus aus nicht anweisungsoptimiert, kann aber mit wenigen Daten als technischer Assistent optimiert werden. Alle relevanten weiterführenden Informationen und Links sind unter HuggingFace Starcoder zu finden.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • BigCode stellt StarCoder und StarCoderBase vor, leistungsstarke Open-Source-Sprachmodelle für Code, die in 86 Programmiersprachen arbeiten.
  • Die Modelle nutzen "Multi Query Attention" für effizientere Codeverarbeitung.
  • Das Team achtet auf Datenschutz und Urheberrechtskonformität und veröffentlicht die Modelle unter einer kommerziell nutzbaren Lizenz.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!