Microsofts Translator erzielt bei Übersetzungen in zahlreiche Sprachen bessere Ergebnisse. Grundlage dieser Verbesserung ist eine KI-Architektur, die neuronale Netze Aufgaben spezifischer bearbeiten lässt und gleichzeitig effizienter rechnet.
Die sogenannte "Mixture-of-Experts" (MoE) Architektur sieht vor, dass ein einzelnes neuronales Transformer-Netz durch eine Reihe von sogenannten Expertennetzen ersetzt wird. Das Modell entscheidet dann, welche Aufgabe an welches Expertennetzwerk delegiert wird. Ein Expertennetzwerk könnte etwa für einzelne Sprachen stehen.
Die KI-Architektur wird außerdem in die Breite statt in die Tiefe gebaut, was mehr Parameter bei weniger Schichten ermöglicht. Ziel der MoE-Architektur sind bessere Ergebnisse bei weniger Rechenaufwand.
Translator: Bis zu 15 Prozent bessere Übersetzungen
Microsoft verwendet den MoE-Ansatz jetzt für den eigenen Translator-Service und verbessert damit durch die Bank die Leistung des Programms. Am stärkten profitieren Übersetzungen von Englisch in Slowakisch mit rund 15 Prozent besseren Ergebnissen, ebenso wie Englisch in Bosnisch und Bulgarisch mit jeweils knapp 12 Prozent. Microsoft evaluierte die Übersetzungen in Blindtests mit Menschen.
Microsoft trainierte das MoE-Netz zudem nach derzeit gängiger Praxis "sparse" (spärlich). So trainierte neuronale Netze aktivieren bei Bearbeitung einer Aufgabe nur jene Elemente, die gerade benötigt werden. Bei herkömmlich trainierten KI-Modellen ist bei jeder Aufgabe das gesamte Modell aktiv, was mehr Energieaufwand bedeutet. Microsoft vergleicht das mit der Beheizung eines Hauses über einzelne Heizkörper in Räumen anstatt über einen zentralen Ofen.
Microsoft setzte beim KI-Training zusätzlich sogenanntes Transferlernen ein, bei dem gemeinsame linguistische Elemente verschiedener Sprachen erkannt werden, sodass Sprachverständnisaufgaben von einer Sprache auf die andere übertragen werden können. Besonders profitieren hiervon selten gesprochene Sprachen, für die wenig Originaltrainingsmaterial bereitsteht.
MoE-Architektur setzt sich durch
Das neue Translator-Modell ist Teil von Microsofts "Project Z-Code" für multimodale KI-Modelle, die Daten wie Text, Sicht, Audio und Sprache kombinieren. Ziel sind laut Microsoft KI-Modelle, die sprechen, sehen, hören und verstehen können. Die im Rahmen von Project Z trainierten Modelle sollen auf dem MoE-Ansatz beruhen.
"Diese Architektur ermöglicht eine massive Skalierung der Anzahl der Modellparameter bei gleichbleibendem Rechenaufwand", schreibt Microsoft. Beim Beispiel des Translators seien früher 20 verschiedene Modelle nötig gewesen, die zwischen zehn Sprachen über die Brückensprache Englisch übersetzten.
Das neue Z-Code-Produktionsmodell könne jetzt direkt alle zehn Sprachen ins Englische und aus dem Englischen übersetzen. Größere Z-Code-Forschungsmodelle könnten bis zu 101 Sprachen ohne die Brückensprache Englisch übersetzen. Laut Microsoft ergeben sich hierdurch 10.000 Übersetzungswege.
Neu ist der MoE-Ansatz nicht, Google forscht bereits seit Sommer 2020 daran und stellte im Dezember 2021 ein nach dem MoE-Prinzip konstruiertes riesiges KI-Sprachmodell vor. Zuvor zeigte Meta im November 2021 eine leistungsfähige Übersetzungs-KI, bei der einzelne Abschnitte im neuronalen Netz die Expertenrolle für verschiedene Sprachen übernehmen.
Googles Übersetzungs-KI M4, Googles 1,6 Billionen-Parameter großer Switch Transformer und das chinesische 1,75 Billionen Parameter große Wu Dao 2.0 setzen ebenfalls auf MoE-Architekturen.
