Inhalt
summary Zusammenfassung

Ein neues Open-Source-System ermöglicht das Training von Sprachmodellen mit 70 Milliarden Parametern auf Gaming-GPUs.

Anzeige

Ein von Answer.AI veröffentlichtes Open-Source-System ermöglicht erstmals das effiziente Training von Sprachmodellen mit 70 Milliarden Parametern auf herkömmlichen Desktop-Computern mit Standard-Gaming-Grafikkarten. Das System kombiniert die Technologien FSDP und QLoRA und ist das Ergebnis einer Zusammenarbeit zwischen Answer.AI, Hugging Face und anderen Forschern.

Die Herausforderung beim Training großer Sprachmodelle liegt in der begrenzten Speicherkapazität herkömmlicher Grafikkarten, die im Vergleich zu teuren Rechenzentrumskarten mit bis zu 80 GB RAM nur über maximal 24 GB RAM verfügen.

QLoRA, eine Entwicklung des beteiligten Forschers Tim Dettmers, ermöglicht das Training größerer Modelle auf einer einzelnen GPU durch den Einsatz von Quantisierung und LoRA. Quantisierung reduziert die Anzahl der Bits, die zur Speicherung der Parameter eines neuronalen Netzes verwendet werden, während LoRA spezielle Adapter trainiert, ohne das gesamte Modell zu verändern.

Anzeige
Anzeige

FSDP (Fully Sharded Data Parallel) des PyTorch-Teams von Meta hingegen ermöglicht es, ein Modell auf mehrere GPUs zu verteilen, um alle Grafikkarten gleichzeitig zu nutzen. Diese Technik teilt die Parameter eines großen Modells auf und ermöglicht es, während des Trainings alle benötigten Fragmente auf der jeweiligen GPU bereitzustellen.

Team trainiert erfolgreich 70 Milliarden Parameter Modell auf zwei GPUs

Durch die Kombination von QLoRA und FSDP gelang es dem Team, ein Modell mit 70 Milliarden Parametern auf zwei GPUs mit je 24 GB zu trainieren. Zusätzlich wurden Techniken wie Gradienten-Checkpointing und CPU-Offloading eingesetzt, um den GPU-Speicherbedarf zu reduzieren. Darüber hinaus reduzierte das Team den Speicherverbrauch weiter mit HQQ, einer Methode, die eine schnellere und genauere Quantisierung als frühere Ansätze ermöglicht. HQQ wurde erfolgreich in das FSDP-System integriert.

Ziel ist es, KI zugänglicher zu machen und mehr Menschen in die Lage zu versetzen, wertvolle Modelle nicht nur zu nutzen, sondern auch zu erstellen. Potenziell könnten mit der Methode und neuen Karten in Zukunft noch größere KI-Modelle trainiert werden.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Answer.AI hat ein Open-Source-System veröffentlicht, das erstmals das Training von Sprachmodellen mit 70 Milliarden Parametern auf herkömmlichen Desktop-Computern mit Standard-Gaming-Grafikkarten ermöglicht, dank der Kombination von FSDP und QLoRA Technologien.
  • QLoRA ermöglicht das Training größerer Modelle auf einer einzelnen GPU durch Quantisierung und LoRA, während FSDP von Meta's PyTorch-Team ein Modell auf mehrere GPUs verteilt.
  • Das Team konnte erfolgreich ein Modell mit 70 Milliarden Parametern auf zwei GPUs mit je 24 GB trainieren, wobei zusätzliche Techniken wie Gradienten-Checkpointing und CPU-Offloading eingesetzt wurden, um den GPU-Speicherbedarf zu reduzieren.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!