Inhalt
summary Zusammenfassung

Snowflake veröffentlicht das hauseigene Sprachmodell Arctic als Open Source. Es soll vor allem bei unternehmensrelevanten Aufgaben mit Effizenz glänzen.

Anzeige

Das Datenbank- und Analyse-Unternehmen Snowflake hat mit Arctic ein eigenes Large Language Model (LLM) entwickelt und stellt es ab sofort als Open Source zur Verfügung. Arctic zeichnet sich laut Snowflake durch hohe Effizienz sowohl beim Training als auch bei der Inferenz aus.

Snowflake positioniert Arctic für Unternehmensanwendungen. Das Modell sei besonders leistungsfähig bei unternehmensrelevanten Aufgaben wie der Generierung von SQL-Code, allgemeiner Programmierung und dem Befolgen komplexer Anweisungen.

Bild: Snowflake
Bild: Snowflake

Fokus auf effizientes KI-Training

Diese Stärken fasst Snowflake in der selbst definierten Metrik "Enterprise Intelligence" zusammen. Hier soll Arctic bei vergleichbarem Trainingsaufwand deutlich besser abschneiden als Open-Source-Konkurrenten.

Anzeige
Anzeige

Laut Snowflake wurde für das Training von Arctic ein Budget von weniger als 2 Millionen US-Dollar benötigt, was etwa 3.000 GPU-Wochen entspricht. Dennoch sei Arctic gleichwertig oder sogar besser in Bezug auf Enterprise Intelligence als Modelle wie Llama 3, 8B und 70B von Meta, die mit einem wesentlich höheren Budget trainiert wurden.

Snowflake hat die Metrik
Snowflake hat die „Business Intelligence“-Metrik erfunden, indem es einige der wichtigsten Fähigkeiten für Unternehmen, wie z.B. SQL-Generierung, kombiniert und Arctic für diese Fähigkeiten optimiert hat. Bei diesen Metriken kann Arctic mit Modellen wie Llama 3 70B von Meta mithalten oder diese sogar übertreffen, obwohl diese mit einem viel höheren Budget trainiert wurden.| Bild: Snowflake

Um diese Trainingseffizienz zu erreichen, setzt Arctic auf eine hybride Architektur aus Dense Transformer und Mixture of Experts (MoE). Die Basis bildet ein Dense Transformer mit 10 Milliarden Parametern, der durch eine MoE Residualschicht mit insgesamt 480 Milliarden Parametern ergänzt wird.

Eine detaillierte Beschreibung des Modells und des Trainings gibt Snowflake in einem "Cookbook" heraus, in dem die Entwickler ihre Erkenntnisse und empfohlene Vorgehensweisen zum Training von MoE-Modellen beschreiben. Damit sollen Interessierte in die Lage versetzt werden, selbst effiziente LLMs zu erstellen, ohne den mühsamen Weg unzähliger Experimente gehen zu müssen.

Die Modell-Checkpoints für die Basis- und die instruierte Version von Arctic stehen ab sofort auf Hugging Face unter der Apache 2.0-Lizenz zum Download bereit. Auf Github gibt es Hinweise zur Inferenz und zum Fine-Tuning.

In Zusammenarbeit mit Nvidia und der vLLM-Community will Snowflake auch optimierte Implementierungen für das Fine-Tuning und Inferencing bereitstellen. Weitere Modelle der Arctic-Serie sind bereits in Planung.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Empfehlung
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Snowflake hat ein eigenes großes Sprachmodell namens Arctic entwickelt und stellt es ab sofort als Open Source zur Verfügung. Arctic soll besonders effizient in Training und Inferenz sein und sich vor allem für unternehmensrelevante Aufgaben wie SQL-Generierung, Codierung und Befehlsausführung eignen.
  • Laut Snowflake wurde Arctic mit einem Budget von weniger als 2 Millionen US-Dollar entwickelt, was etwa 3.000 GPU-Wochen entspricht. Dennoch sei es in Bezug auf "Enterprise Intelligence" gleichwertig oder besser als die Llama-Modelle von Meta, die mit einem wesentlich höheren Budget trainiert wurden.
  • Arctic basiert auf einer hybriden Architektur bestehend aus einem Dense Transformer mit 10 Milliarden Parametern und einer Mixture of Experts (MoE) Residualschicht mit 480 Milliarden Parametern. Snowflake veröffentlicht ein "Cookbook" mit Erkenntnissen und Best Practices zum Training von MoE-Modellen.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!