Code Llama ist Metas verfeinerte Llama-2-Variante zur Codegenerierung.
Code Llama ist laut Meta eine Weiterentwicklung von Llama 2, die zusätzlich mit 500 Milliarden Code-Tokens und codebezogenen Tokens aus den code-spezifischen Datensätzen von Llama 2 trainiert wurde. Für das Training von Code Lama wurden mehr Codedaten über einen längeren Zeitraum verwendet.
Im Vergleich zu Llama 2 verfügt Code Lama über erweiterte Programmierfähigkeiten und kann beispielsweise auf die natürlichsprachliche Aufforderung "Schreib mir eine Funktion, die die Fibonacci-Folge ausgibt" den entsprechenden Code generieren. Ähnlich wie Microsoft Copilot kann es auch Code vervollständigen und Fehler im Code finden.
Video: Meta AI
Code Lama unterstützt gängige Programmiersprachen wie Python, C++, Java, PHP, Typescript (Javascript), C#, Bash und andere.
Drei Modelle und zwei Varianten
Meta veröffentlicht Code Llama in drei Größen mit 7 Milliarden, 13 Milliarden und 34 Milliarden Parametern. Das besonders große Kontextfenster liegt bei 100.000 Tokens, was das Modell vor allem für die gleichzeitige Verarbeitung großer Codemengen interessant macht.
"Wenn Entwickler einen großen Teil des Codes debuggen müssen, können sie die gesamte Codelänge an das Modell übergeben", schreibt Meta AI.
Die Variante mit 34 Milliarden Parametern soll die höchste Codequalität liefern und eignet sich daher als Code-Assistent. Die kleineren Modelle sind für die Code-Vervollständigung in Echtzeit optimiert. Sie haben eine geringere Latenz und sind standardmäßig auf Fill-in-the-Middle (FIM) trainiert.
Zusätzlich veröffentlicht Meta eine für Python optimierte Code-Llama-Variante, die mit weiteren 100 Milliarden Python Code Tokens trainiert wurde, sowie eine Instruct-Variante, die mit Codeaufgaben und deren Musterlösungen optimiert wurde. Diese Variante wird von Meta für die Codegenerierung empfohlen, da sie den Prompts besonders genau folgen soll.
KI für Code: Code Llama übertrifft andere Open-Source-Modelle, aber GPT-4 bleibt vorne
In den Benchmarks HumanEval und Mostly Basic Python Programming (MBPP) erzielt Code Llama 34B Ergebnisse auf dem Niveau von GPT-3.5, liegt aber in Human Eval weit hinter GPT-4. Das nicht für Code optimierte Llama 2 übertrifft Code Llama ebenso wie andere getestete Open-Source-Modelle.
Meta veröffentlicht Code Llama unter derselben Llama Lizenz wie Llama 2 auf Github. Die Anwendung und die damit generierten Inhalte können für wissenschaftliche und kommerzielle Zwecke genutzt werden.
Die Open-Source-Initiative kritisiert Meta für die Vermarktung der Modelle als Open Source, da die Lizenz die kommerzielle Nutzung und bestimmte Anwendungsbereiche einschränke und damit nicht vollständig der Open-Source-Definition entspreche.
