Neuartige Abakus-Positionseinbettungen ermöglichen es KI-Sprachmodellen, deutlich längere und komplexere Additions- und Multiplikationsaufgaben zu lösen als bisher. Dies eröffnet neue Möglichkeiten für algorithmisches Schließen.
KI-Sprachmodelle wie GPT-4 von OpenAI zeigen rudimentäre mathematische Fähigkeiten. Sie stoßen jedoch immer noch an ihre Grenzen, wenn es darum geht, Berechnungen mit sehr langen Zahlen oder komplexe Algorithmen wie das Sortieren in einem Zero-Shot-Szenario ohne externe Werkzeuge durchzuführen.
Ein Forscherteam der University of Maryland, des Lawrence Livermore National Laboratory, des ELLIS Institute Tübingen, des Max-Planck-Instituts für Intelligente Systeme, des Tübingen AI Center und der Carnegie Mellon University hat eine neue Methode entwickelt, um die Fähigkeiten von KI-Sprachmodellen bei arithmetischen Aufgaben drastisch zu verbessern. Ihre so genannten Abacus-Positionseinbettungen (Abacus Embeddings) helfen den Modellen, die Position einzelner Ziffern in langen Zahlen besser zu erfassen.
Herkömmliche KI-Modelle haben Schwierigkeiten, sehr lange Additionen mit bis zu 100 Stellen korrekt durchzuführen, selbst wenn sie auf Zahlen mit bis zu 20 Stellen trainiert wurden. Der Grund: Die Modelle verlieren den Überblick, an welcher Stelle eine Ziffer innerhalb der langen Zahl steht.
Die Abacus-Methode löst dieses Problem, indem sie jeder Ziffer eine Position zuweist, die ihrer Stelle im Zahlensystem entspricht, ähnlich wie auf einem Abakus. So erhalten Einer, Zehner, Hunderter usw. jeweils die gleiche Positionskodierung. Das hilft den Modellen, die Ziffern korrekt untereinander anzuordnen und stellenweise zu addieren.
Abacus Embeddings ermöglichen drastischen Leistungssprung
Mit diesem Ansatz konnten die Forscher die Genauigkeit und Generalisierungsfähigkeit der KI-Modelle enorm steigern: Modelle, die nur auf 20-stellige Zahlen trainiert wurden, lösten Additionen mit bis zu 120 Stellen nahezu fehlerfrei. Das entspricht einer Generalisierung um den Faktor 6 - der bisherige Bestwert lag bei 2,5.
Noch bessere Ergebnisse erzielten die Forscher, indem sie die Abacus-Einbettungen mit speziellen Netzwerkarchitekturen kombinierten: Sogenannte "Looped Transformer" mit "Input Injection", bei denen die Eingabedaten in jede Netzwerkschicht eingespeist werden, reduzierten die Fehlerrate auf nur 0,9 %.
Die Wissenschaftler übertrugen den Ansatz auch erfolgreich auf die Multiplikation bis zu 15-stelliger Zahlen und das Sortieren von Zahlenreihen. Dabei zeigte sich erneut das große Potenzial von Abacus, das Abschneiden der Modelle teils drastisch zu verbessern.
Die Ergebnisse zeigen, wie spezialisierte Datenrepräsentationen und Modellarchitekturen die Fähigkeiten von KI-Systemen zum algorithmischen Schlussfolgern auf eine neue Stufe heben können. Die Forscher hoffen, dass ihr Ansatz den Weg für weitere Durchbrüche beim mathematischen Verständnis von Sprachmodellen ebnet.
Aufgrund begrenzter Rechenkapazitäten hat das Team jedoch keine Tests mit natürlicher Sprache durchgeführt. Hier seien weitere Untersuchungen nötig, um das volle Potenzial von Abacus auch in gemischten Anwendungsszenarien zu erschließen.
