Neuer Algorithmus könnte Energiebedarf von KI-Systemen um bis zu 95 Prozent senken
Kurz & Knapp
- Forscher von BitEnergy AI haben einen Algorithmus namens "Linear-complexity multiplication" (L-Mul) entwickelt, der in KI-Modellen Gleitkomma-Multiplikationen durch effizientere Ganzzahl-Additionen ersetzt und so den Energiebedarf um bis zu 95 Prozent reduzieren könnte.
- Die Methode wurde auf verschiedenen Aufgaben wie Sprachverständnis, Schlussfolgern, Mathematik und Beantwortung von Fragen getestet. Die Ergebnisse zeigen, dass die direkte Anwendung von L-Mul auf den Aufmerksamkeitsmechanismus, einen zentralen Bestandteil moderner Sprachmodelle, nahezu verlustfrei ist.
- Das Team plant, L-Mul und L-Matmul-Kernelalgorithmen auf Hardwareebene zu implementieren und APIs für das High-Level-Modelldesign zu entwickeln, um textuelle, symbolische und multimodale generative KI-Modelle zu trainieren, die für den Einsatz auf L-Mul-nativer Hardware optimiert sind.
Forscher haben einen Algorithmus entwickelt, der in KI-Modellen Gleitkomma-Multiplikationen durch effizientere Ganzzahl-Additionen ersetzt. Die Methode könnte den Energiebedarf von KI-Systemen um bis zu 95 Prozent reduzieren.
Wissenschaftler von BitEnergy AI, haben einen neuen Algorithmus namens "Linear-complexity multiplication" (L-Mul) vorgestellt, der den Energieverbrauch von Künstlicher Intelligenz drastisch senken könnte. Die Methode ersetzt aufwendige Gleitkomma-Multiplikationen, die etwa in Sprachmodellen eine zentrale Rolle spielen, durch einfachere Ganzzahl-Additionen.
Laut der Studie "Addition is All You Need for Energy-Efficient Language Models" könnte L-Mul den Energiebedarf für elementweise Gleitkomma-Tensor-Multiplikationen um bis zu 95 Prozent und für Skalarprodukte um 80 Prozent reduzieren.
Die Wissenschaftler testeten ihren Ansatz auf einer Vielzahl von textuellen, visuellen und symbolischen Aufgaben, darunter Sprachverständnis, strukturelles Schlussfolgern, Mathematik und Beantwortung von Fragen zum gesunden Menschenverstand.
Direkter Einsatz in Aufmerksamkeitsmechanismen möglich
Die Evaluierungsergebnisse auf gängigen Benchmarks zeigen laut den Forschern, dass die direkte Anwendung von L-Mul auf den Aufmerksamkeitsmechanismus nahezu verlustfrei ist. Der Aufmerksamkeitsmechanismus ist ein zentraler Bestandteil von Transformer-Modellen, etwa moderner Sprachmodelle.
Die Entwickler sehen in ihrer Methode das Potenzial, die akademische und wirtschaftliche Wettbewerbsfähigkeit sowie die KI-Souveränität zu stärken. L-Mul könnte es großen Organisationen ermöglichen, schneller und kostengünstiger maßgeschneiderte KI-Modelle zu entwickeln.
Das Team plant, L-Mul und L-Matmul-Kernelalgorithmen auf Hardwareebene zu implementieren und Programmier-APIs für das High-Level-Modelldesign zu entwickeln. Ziel ist es, textuelle, symbolische und multimodale generative KI-Modelle zu trainieren, die für den Einsatz auf L-Mul-nativer Hardware optimiert sind.
Verpassen Sie keine
aktuellen KI‑Einblicke.
- Unabhängiger Journalismus, der Sie auf dem Laufenden hält.
- Zugang zum Magazinarchiv und zu den Community‑Kommentaren.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.