Forscher von Google Deepmind haben eine neue KI-Architektur namens PEER vorgestellt, die mehr als eine Million kleiner "Experten" nutzt. Dies könnte die Effizienz und Skalierbarkeit von Sprachmodellen erheblich verbessern.
Wissenschaftler von Google Deepmind haben eine neue Methode zur Konstruktion von KI-Modellen entwickelt, die sie "Parameter Efficient Expert Retrieval" (PEER) nennen. Diese Technik verwendet mehr als eine Million winziger "Experten" - kleine neuronale Netze mit nur einem Neuron - anstelle der großen Feedforward-Schichten, die in herkömmlichen Transformer-Modellen verwendet werden.
Die Forscher erklären, dass PEER auf dem Prinzip der "Mixture of Experts" (MoE) basiert. MoE ist eine Technik, bei der ein KI-System aus vielen spezialisierten Teilnetzwerken besteht, die je nach Aufgabe aktiviert werden - und die Architektur, die höchstwahrscheinlich aktuelle große Sprachmodelle wie GPT-4, Gemini oder Claude antreibt. PEER geht jedoch einen Schritt weiter, indem es eine extrem große Anzahl sehr kleiner Experten verwendet.
Um effizient auf diese große Menge von Experten zugreifen zu können, verwendet PEER eine Technik namens "Product Key Memory". Diese ermöglicht es, aus Millionen von Experten schnell die relevantesten auszuwählen, ohne sie alle einzeln überprüfen zu müssen.
In Experimenten zur Sprachmodellierung übertraf PEER sowohl herkömmliche Transformermodelle als auch bisherige MoE-Ansätze in der Effizienz. Bei gleicher Rechenleistung schnitt PEER in verschiedenen Benchmarks besser ab.
PEER zeigt, dass Skalierungsgesetze für Experten gelten
Den Erfolg von PEER erklären die Forscher mit so genannten Skalierungsgesetzen. Diese beschreiben mathematisch, wie die Leistung von KI-Modellen mit ihrer Größe und der Menge der Trainingsdaten zunimmt. Die Wissenschaftler argumentieren, dass eine sehr große Anzahl von kleinen Experten es ermöglicht, die Gesamtkapazität des Modells zu erhöhen, ohne dass der Rechenaufwand stark ansteigt.
Einen weiteren Vorteil von PEER sehen die Forscher in der Möglichkeit des "lebenslangen Lernens". Da neue Experten einfach hinzugefügt werden können, könnte ein PEER-Modell theoretisch ständig neue Informationen aufnehmen, ohne bereits Gelerntes zu vergessen.
Insgesamt sehen die Forscher in PEER einen vielversprechenden Ansatz, um KI-Modelle effizienter und skalierbarer zu machen. Sie weisen jedoch darauf hin, dass weitere Forschung notwendig ist, um das volle Potenzial dieser Technologie auszuschöpfen.
