Inhalt
newsletter Newsletter
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
Bewusstsein, Kognition und Künstliche Intelligenz | DEEP MINDS #10

Metas neuer KI-Übersetzer knackt Bestwerte im wichtigen WMT2021-Benchmark. Das ist bemerkenswert, weil der Rekord erstmals von einem Multisprachen-KI-Modell erreicht wird. Das Unternehmen wähnt sich auf dem Weg zu einem leistungsfähigen universellen Übersetzungssystem.

Metas (ehemals Facebooks) KI-Abteilung arbeitet seit mehreren Jahren an KI-Übersetzungen. Bereits 2018 knackten Facebook KI-Forschende einen Meilenstein bei der Übersetzung mit unüberwacht trainierten Modellen. Letztes Jahr zeigten die Forscher und Forscherinnen ein multilinguales KI-Modell, das 100 Sprachen übersetzen kann.

Doch keines der Allzweck-Übersetzungssysteme erreichte die Qualität bilingual trainierter KI-Modelle, die etwa ausschließlich mit englischen und deutschen Übersetzungsbeispielen trainiert werden. In der maschinellen Übersetzung werden daher für jede Sprache jeweils eigene Modelle trainiert und eingesetzt.

Multilinguale KI-Übersetzer für Facebook gesucht

Künstliche Intelligenz, die direkt mit mehreren Sprachen trainiert wird, verspricht jedoch theoretisch bessere Übersetzungsleistungen für häufige und ebenso seltene Sprachen. So soll ein multimodales Modell etwa gemeinsame Muster in allen Sprachen erlernen und dieses Wissen für bessere Übersetzungen nutzen.

Anzeige
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung

Die Allzweckmodelle eignen sich daher besonders für Sprachen, von denen wenige Übersetzungsbeispiele oder überhaupt wenige Texte für das Training existieren. Die maschinelle Übersetzung solcher sogenannten „Low-Resource Languages“ ist für das soziale Netzwerk Facebook von großem Interesse, da dort täglich Milliarden Menschen in hunderten verschiedenen Sprachen posten.

Im diesjährigen WMT2021-Benchmark, einem der wichtigsten KI-Übersetzungswettbewerbe, erreicht nun Metas multilinguales KI-Modell das erste Mal Bestwerte und übertrifft in mehreren Kategorien die besten bilingualen Modelle.

Metas Multisprachen-KI-Modell steht an der Spitze

Metas KI-Übersetzer übersetzt Englisch von und nach Tschechisch, Deutsch, Isländisch, Hausa, Japanisch, Russisch und Chinesisch. Laut Meta liegt das KI-System in den meisten dieser Sprachen vor allen anderen Systemen in der WMT2021-Bestenliste.

Es verbessert die Übersetzungsleistung im Vergleich zu den Gewinnern des WMT2020-Wettbewerbs um 2.0 BLEU-Punkte. Lediglich bei der Übersetzung von und nach Japanisch und Chinesisch hängt Metas KI-System knapp hinterher.

Metas multilinguales Modell setzt sich im WMT2021-Benchmark an die Spitze, auch gegenüber Metas eigenen bilingualen Übersetzern. | Bild: Meta

Laut Meta zeige der Erfolg, dass multilinguale Modelle tatsächlich die Zukunft maschineller Übersetzung seien. Möglich ist der Erfolg durch eine Reihe Verbesserungen im KI-Training und der Modell-Architektur.

Empfehlung

So setzt Meta neben Übersetzungspaaren auch auf große Mengen einsprachigen Texts und vergrößert das als Grundlage genutzte KI-Modell von 15 Milliarden auf 52 Milliarden Parameter. Die zusätzlichen Parameter tragen den größeren Datenmengen Rechnung.

Meta glaubt an das „universelle Übersetzungssystem“

Für die Architektur setzt Meta auf ein Mixture-of-Experts-Modell (MoE), in dem einzelne Abschnitte im Netz als Experten für bestimmte Aufgaben und Sprachen dienen. Auf diese Methode setzen ebenso Googles Übersetzungs-KI M4, Googles 1,6 Billionen-Parameter großer Switch Transformer und das chinesische 1,75 Billionen Parameter große Wu Dao 2.0.

Video: Meta

„Wir sind davon überzeugt, dass unser Erfolg beim WMT 2021 zeigt, dass multilinguale Übersetzer ein wichtiger Schritt auf dem Weg zum universellen Übersetzungssystem sind“, so Meta. Als Nächstes wollen die Forschenden sich seltenen Sprachen widmen und neue Technologien entwickeln, die auch für diese Sprachen ein vergleichbar gutes Ergebnis ermöglichen.

Anzeige
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Metas aktuelle Multisprach-KI-Modelle gibt es bei Github.

Weiterlesen über Künstliche Intelligenz:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!