Google Deepmind stellt PEER vor: Neues KI-Modell nutzt eine Million winziger "Experten"
Forscher von Google Deepmind haben eine neue KI-Architektur namens PEER vorgestellt, die mehr als eine Million kleiner "Experten" nutzt. Dies könnte die Effizienz und Skalierbarkeit von Sprachmodellen erheblich verbessern.
Wissenschaftler von Google Deepmind haben eine neue Methode zur Konstruktion von KI-Modellen entwickelt, die sie "Parameter Efficient Expert Retrieval" (PEER) nennen. Diese Technik verwendet mehr als eine Million winziger "Experten" - kleine neuronale Netze mit nur einem Neuron - anstelle der großen Feedforward-Schichten, die in herkömmlichen Transformer-Modellen verwendet werden.
Die Forscher erklären, dass PEER auf dem Prinzip der "Mixture of Experts" (MoE) basiert. MoE ist eine Technik, bei der ein KI-System aus vielen spezialisierten Teilnetzwerken besteht, die je nach Aufgabe aktiviert werden - und die Architektur, die höchstwahrscheinlich aktuelle große Sprachmodelle wie GPT-4, Gemini oder Claude antreibt. PEER geht jedoch einen Schritt weiter, indem es eine extrem große Anzahl sehr kleiner Experten verwendet.
Um effizient auf diese große Menge von Experten zugreifen zu können, verwendet PEER eine Technik namens "Product Key Memory". Diese ermöglicht es, aus Millionen von Experten schnell die relevantesten auszuwählen, ohne sie alle einzeln überprüfen zu müssen.
In Experimenten zur Sprachmodellierung übertraf PEER sowohl herkömmliche Transformermodelle als auch bisherige MoE-Ansätze in der Effizienz. Bei gleicher Rechenleistung schnitt PEER in verschiedenen Benchmarks besser ab.
PEER zeigt, dass Skalierungsgesetze für Experten gelten
Den Erfolg von PEER erklären die Forscher mit so genannten Skalierungsgesetzen. Diese beschreiben mathematisch, wie die Leistung von KI-Modellen mit ihrer Größe und der Menge der Trainingsdaten zunimmt. Die Wissenschaftler argumentieren, dass eine sehr große Anzahl von kleinen Experten es ermöglicht, die Gesamtkapazität des Modells zu erhöhen, ohne dass der Rechenaufwand stark ansteigt.
Einen weiteren Vorteil von PEER sehen die Forscher in der Möglichkeit des "lebenslangen Lernens". Da neue Experten einfach hinzugefügt werden können, könnte ein PEER-Modell theoretisch ständig neue Informationen aufnehmen, ohne bereits Gelerntes zu vergessen.
Insgesamt sehen die Forscher in PEER einen vielversprechenden Ansatz, um KI-Modelle effizienter und skalierbarer zu machen. Sie weisen jedoch darauf hin, dass weitere Forschung notwendig ist, um das volle Potenzial dieser Technologie auszuschöpfen.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar“‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnierenKI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.