Inhalt
summary Zusammenfassung

Neuartige Abakus-Positionseinbettungen ermöglichen es KI-Sprachmodellen, deutlich längere und komplexere Additions- und Multiplikationsaufgaben zu lösen als bisher. Dies eröffnet neue Möglichkeiten für algorithmisches Schließen.

KI-Sprachmodelle wie GPT-4 von OpenAI zeigen rudimentäre mathematische Fähigkeiten. Sie stoßen jedoch immer noch an ihre Grenzen, wenn es darum geht, Berechnungen mit sehr langen Zahlen oder komplexe Algorithmen wie das Sortieren in einem Zero-Shot-Szenario ohne externe Werkzeuge durchzuführen.

Ein Forscherteam der University of Maryland, des Lawrence Livermore National Laboratory, des ELLIS Institute Tübingen, des Max-Planck-Instituts für Intelligente Systeme, des Tübingen AI Center und der Carnegie Mellon University hat eine neue Methode entwickelt, um die Fähigkeiten von KI-Sprachmodellen bei arithmetischen Aufgaben drastisch zu verbessern. Ihre so genannten Abacus-Positionseinbettungen (Abacus Embeddings) helfen den Modellen, die Position einzelner Ziffern in langen Zahlen besser zu erfassen.

Herkömmliche KI-Modelle haben Schwierigkeiten, sehr lange Additionen mit bis zu 100 Stellen korrekt durchzuführen, selbst wenn sie auf Zahlen mit bis zu 20 Stellen trainiert wurden. Der Grund: Die Modelle verlieren den Überblick, an welcher Stelle eine Ziffer innerhalb der langen Zahl steht.

Anzeige
Anzeige

Die Abacus-Methode löst dieses Problem, indem sie jeder Ziffer eine Position zuweist, die ihrer Stelle im Zahlensystem entspricht, ähnlich wie auf einem Abakus. So erhalten Einer, Zehner, Hunderter usw. jeweils die gleiche Positionskodierung. Das hilft den Modellen, die Ziffern korrekt untereinander anzuordnen und stellenweise zu addieren.

Abacus Embeddings ermöglichen drastischen Leistungssprung

Mit diesem Ansatz konnten die Forscher die Genauigkeit und Generalisierungsfähigkeit der KI-Modelle enorm steigern: Modelle, die nur auf 20-stellige Zahlen trainiert wurden, lösten Additionen mit bis zu 120 Stellen nahezu fehlerfrei. Das entspricht einer Generalisierung um den Faktor 6 - der bisherige Bestwert lag bei 2,5.

Noch bessere Ergebnisse erzielten die Forscher, indem sie die Abacus-Einbettungen mit speziellen Netzwerkarchitekturen kombinierten: Sogenannte "Looped Transformer" mit "Input Injection", bei denen die Eingabedaten in jede Netzwerkschicht eingespeist werden, reduzierten die Fehlerrate auf nur 0,9 %.

Die Wissenschaftler übertrugen den Ansatz auch erfolgreich auf die Multiplikation bis zu 15-stelliger Zahlen und das Sortieren von Zahlenreihen. Dabei zeigte sich erneut das große Potenzial von Abacus, das Abschneiden der Modelle teils drastisch zu verbessern.

Die Ergebnisse zeigen, wie spezialisierte Datenrepräsentationen und Modellarchitekturen die Fähigkeiten von KI-Systemen zum algorithmischen Schlussfolgern auf eine neue Stufe heben können. Die Forscher hoffen, dass ihr Ansatz den Weg für weitere Durchbrüche beim mathematischen Verständnis von Sprachmodellen ebnet.

Empfehlung

Aufgrund begrenzter Rechenkapazitäten hat das Team jedoch keine Tests mit natürlicher Sprache durchgeführt. Hier seien weitere Untersuchungen nötig, um das volle Potenzial von Abacus auch in gemischten Anwendungsszenarien zu erschließen.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Forscher haben eine Methode namens "Abacus-Positionseinbettungen" entwickelt, die KI-Sprachmodellen hilft, die Position einzelner Ziffern in langen Zahlen besser zu erfassen und so deutlich längere und komplexere Additionsaufgaben zu lösen.
  • Mit Abacus konnten Modelle, die nur auf 20-stellige Zahlen trainiert wurden, Additionen mit bis zu 120 Stellen nahezu fehlerfrei lösen - eine Generalisierung um den Faktor 6. In Kombination mit speziellen Netzwerkarchitekturen wie "Looped Transformer" mit "Input Injection" sank die Fehlerrate auf nur 0,9 %.
  • Der Ansatz ließ sich auch erfolgreich auf die Multiplikation bis zu 15-stelliger Zahlen und das Sortieren von Zahlenreihen übertragen. Die Forscher hoffen, dass ihre Methode den Weg für weitere Verbesserungen beim mathematischen Verständnis von Sprachmodellen ebnet.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!