Forscher haben einen Algorithmus entwickelt, der in KI-Modellen Gleitkomma-Multiplikationen durch effizientere Ganzzahl-Additionen ersetzt. Die Methode könnte den Energiebedarf von KI-Systemen um bis zu 95 Prozent reduzieren.
Wissenschaftler von BitEnergy AI, haben einen neuen Algorithmus namens "Linear-complexity multiplication" (L-Mul) vorgestellt, der den Energieverbrauch von Künstlicher Intelligenz drastisch senken könnte. Die Methode ersetzt aufwendige Gleitkomma-Multiplikationen, die etwa in Sprachmodellen eine zentrale Rolle spielen, durch einfachere Ganzzahl-Additionen.
Laut der Studie "Addition is All You Need for Energy-Efficient Language Models" könnte L-Mul den Energiebedarf für elementweise Gleitkomma-Tensor-Multiplikationen um bis zu 95 Prozent und für Skalarprodukte um 80 Prozent reduzieren.
Die Wissenschaftler testeten ihren Ansatz auf einer Vielzahl von textuellen, visuellen und symbolischen Aufgaben, darunter Sprachverständnis, strukturelles Schlussfolgern, Mathematik und Beantwortung von Fragen zum gesunden Menschenverstand.
Direkter Einsatz in Aufmerksamkeitsmechanismen möglich
Die Evaluierungsergebnisse auf gängigen Benchmarks zeigen laut den Forschern, dass die direkte Anwendung von L-Mul auf den Aufmerksamkeitsmechanismus nahezu verlustfrei ist. Der Aufmerksamkeitsmechanismus ist ein zentraler Bestandteil von Transformer-Modellen, etwa moderner Sprachmodelle.
Die Entwickler sehen in ihrer Methode das Potenzial, die akademische und wirtschaftliche Wettbewerbsfähigkeit sowie die KI-Souveränität zu stärken. L-Mul könnte es großen Organisationen ermöglichen, schneller und kostengünstiger maßgeschneiderte KI-Modelle zu entwickeln.
Das Team plant, L-Mul und L-Matmul-Kernelalgorithmen auf Hardwareebene zu implementieren und Programmier-APIs für das High-Level-Modelldesign zu entwickeln. Ziel ist es, textuelle, symbolische und multimodale generative KI-Modelle zu trainieren, die für den Einsatz auf L-Mul-nativer Hardware optimiert sind.
