Der neue Rechner von Hugging Face zeigt, wie teuer KI-Training ist
Hugging Face bietet den neuen KI-Service "Training Cluster as a Service" an, mit dem Unternehmen ohne eigene Rechenfarm KI-Modelle trainieren können.
Das KI-Unternehmen Hugging Face startet "Training Cluster as a Service": Mit dem neuen Service können Nutzer:innen auf leistungsstarke GPU-Cluster zugreifen, um ihre KI-Modelle schneller und einfacher zu trainieren.
Besonders interessant ist der dazugehörige Preisrechner: Hier können Nutzer:innen ihr gewünschtes Modell anhand der Anzahl der Parameter, der Fähigkeiten, der Anzahl der Trainingsdaten und der gewünschten Trainingsgeschwindigkeit konfigurieren.
Das günstigste Textmodell mit 7 Milliarden Parametern kostet geschätzte 43.069 US-Dollar und würde etwa vier Tage Trainingszeit benötigen.
Das teuerste multimodale Modell (Text und Bild) würde 18.461.354 US-Dollar kosten: 70 Milliarden Parameter, 7 Billionen Token Trainingsdaten und 184 Tage Trainingszeit auf 1000 Nvidia H100 GPUs.
Ein solches Modell zu trainieren wäre dann sinnvoll, wenn man aus Sicherheitsgründen völlig autonom agieren will oder wenn man sehr spezifische Anwendungsszenarien hat, für die man das Modell optimieren kann.
Allerdings bieten auch hier die großen KI-Unternehmen wie Google oder OpenAI eigene Dienste für das Feintuning ihrer Modelle an, die beim Preis-Leistungs-Verhältnis vermutlich besser aufgestellt sind.
KI-Training ist teuer
Da die Leistungsfähigkeit eines Modells auch und vor allem von der Datenqualität abhängt, ist es schwierig, eine generelle Aussage über die Leistungsfähigkeit der selbsttrainierten HF-Modelle zu treffen.
Man kann aber davon ausgehen, dass selbst das leistungsfähigste multimodale Modell mit 70 Milliarden Parametern, das derzeit über den HF-Dienst trainiert werden kann, keine Chance gegen GPT-4 oder Googles Gemini hätte, wenn es darum geht, möglichst viele Aufgaben in möglichst hoher Qualität zu erledigen. Allein GPT-4 soll rund 1,8 Billionen Parameter haben, also 25-Mal größer sein, und kostet laut Schätzungen zwischen rund 70 und mehr als 100 Millionen US-Dollar.
Das zeigt, dass KI-Spitzenmodelle allein aus finanzieller Sicht noch einen starken Burggraben haben. Und dass deutsche und europäische KI-Start-ups vermutlich unterfinanziert sind, auch wenn es perspektivisch möglich ist, dass Fortschritte bei Chips, effizientere Architekturen und weniger benötigte, weil hochwertigere Trainingsdaten die Preise fürs Training senken.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar“‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnierenKI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.