Sprachmodell Intellect-1 wurde auf mehreren Kontinenten gleichzeitig trainiert
Kurz & Knapp
- Das KI-Start-up Prime Intellect hat nach eigenen Angaben mit INTELLECT-1 das erste dezentral trainierte Sprachmodell mit 10 Milliarden Parametern nach nur elf Tagen Training fertiggestellt und will es in einer Woche als Open Source veröffentlichen.
- Technologische Grundlage ist Intellects Open-Source-Implementierung von DeepMinds Distributed Low-Communication (DiLoCo)-Methode namens OpenDiLoCo, die das Training auf global verteilten Geräten mit reduzierten Kommunikationsanforderungen ermöglicht.
- INTELLECT-1 basiert auf der LLaMA-3-Architektur, wurde mit hochwertigen Open-Source-Datensätzen trainiert und stellt einen Meilenstein in der Zugänglichkeit des KI-Trainings dar. Mit 10 Milliarden Parametern ist es allerdings noch relativ klein, die Skalierung bleibt abzuwarten.
Das KI-Start-up Prime Intellect hat nach eigenen Angaben einen Meilenstein erreicht: Nach elf Tagen Training auf Rechnern in den USA, Europa und Asien ist das 10-Milliarden-Parameter-Sprachmodell Intellect-1 fertig - das erste dezentral trainierte LLM dieser Größenordnung.
Intellect will Intellect-1 in etwa einer Woche mitsamt Trainingsdaten als Open Source veröffentlichen. Ziel ist es zu zeigen, dass die Entwicklung großer KI-Modelle auch von Organisationen mit weniger Ressourcen geleistet werden kann. Jeder soll Rechenleistung beisteuern können, um eine transparente und frei zugängliche Open-Source-AGI zu schaffen.
DeepMind-Methode ermöglicht dezentrales Training
Technologische Grundlage ist Prime Intellects quelloffene Implementierung von DeepMinds Distributed Low-Communication-Methode (DiLoCo) namens OpenDiLoCo. Sie ermöglicht Training auf global verteilten Geräten bei erheblich reduzierten Kommunikationsanforderungen.
Darauf aufbauend entwickelte Prime Intellect ein skalierbares Framework für fehlertolerantes dezentrales Training. Es unterstützt dynamisches Hinzufügen und Entfernen von Rechenressourcen und optimiert Kommunikation über ein global verteiltes GPU-Netzwerk.
Intellect-1 basiert auf der LLaMA-3-Architektur und wurde auf hochwertigen Open-Source-Datensätzen wie Fineweb-Edu trainiert. Der mehr als 6 Billionen Token umfassende Datensatz bestand hauptsächlich aus Fineweb-edu, DLCM, Stack v2 und OpenWebMath.
Ambitionierte Pläne für die Zukunft
Intellect-1 ist für Prime Intellect nur der Anfang. Geplant ist, das dezentrale Training auf die leistungsfähigsten Open-Source-Modelle auszuweiten. Ein System soll es jedem ermöglichen, eigene Ressourcen sicher und überprüfbar beizutragen. Ein Framework soll jeden dezentralen Trainingslauf für Beiträge öffnen.
Open-Source-KI ist laut Prime Intellect der Schlüssel gegen die Risiken der Zentralisierung. Allerdings brauche es koordinierte Anstrengungen, um mit den führenden Closed-Source-Laboren konkurrieren zu können. Das Start-up ruft dazu auf, sich an Open-Source-KI zu beteiligen - durch Mitarbeit, Kooperation oder die Bereitstellung von Rechenleistung.
Ein Meilenstein, aber ein kleiner
Während das erfolgreiche Training von Intellect-1 sicherlich einen Meilenstein in der Demokratisierung des KI-Trainings darstellt, ist das entstandene Sprachmodell mit 10 Milliarden Parametern vergleichsweise klein.
Auch ohne Benchmarks abzuwarten, dürfte klar sein, dass das Modell keinen Konkurrenten für kommerzielle Vertreter wie GPT-4, Claude 3 oder auch kleinere, quelloffene wie Llama 3.2 darstellen wird.
Abzuwarten bleibt jetzt, inwieweit das Start-up die Idee skalieren kann, um nicht nur einen Machbarkeitsnachweis zu liefern, sondern auch einen wertvollen Beitrag für die LLM-Landschaft.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.