Anstelle eines einzelnen Sprachmodells versuchen mehrere Sprachmodelle gemeinsam, einen Text zu übersetzen. Dieser Ansatz verbessert die Qualität, ist aber nicht frei von Problemen.
Ein Forschungsteam der Monash University, der Universität Macau und des Tencent AI Lab hat "TransAgents" für die Übersetzung umfangreicher literarischer Texte entwickelt. Dabei handelt es sich um eine Simulation eines Übersetzungsbüros mit mehreren KI-Agenten in verschiedenen Rollen.
Den Forschern zufolge stellt die literarische Übersetzung aufgrund der Komplexität der Sprache, bildhafter Ausdrücke, kultureller Nuancen und einzigartiger Stilelemente eine große Herausforderung für maschinelle Übersetzungssysteme dar.
KI simuliert Übersetzungsbüro
Das TransAgents-System gliedert sich in zwei Hauptphasen, die Personalauswahl und die eigentliche Übersetzung, die jeweils aus mehreren Unterphasen bestehen. Der Prozess beginnt damit, dass ein vordefinierter CEO-Agent auf der Grundlage der spezifischen Anforderungen jedes Kunden einen leitenden Redakteur auswählt. Der ausgewählte Redakteur stellt dann ein Team aus Junior-Redakteuren, Übersetzern, Lokalisierungsexperten und Korrekturlesern zusammen.
Jedem Mitarbeitenden wiesen die Forschenden ein detailliertes, mit GPT-4 Turbo generiertes Profil zu. Diese Personenbeschreibungen gehen bewusst über die rein sprachlichen Kompetenzen hinaus, um die Simulation realistischer zu gestalten, aber auch um die Vielfalt realer Übersetzungsbüros abzubilden und zukünftige Forschung in diese Richtung anzuregen.
Für den Übersetzungsprozess haben die Wissenschaftler:innen verschiedene Strategien implementiert, etwa die Addition-by-Subtraction-Kollaboration. Hier extrahiert ein Agent relevante Informationen, während ein anderer Redundanzen entfernt und Feedback gibt.
Bei der sogenannten trilateralen Kollaboration werden den Agenten die Rollen Aktion, Kritik und Urteil zugewiesen, um Übersetzungen zu erstellen, zu überprüfen und schließlich zu genehmigen.
Damit die Übersetzung konsistent bleibt, haben die Forscher:innen außerdem eine Richtlinie festgelegt, bestehend aus fünf Elementen: einem Glossar, einer Buchzusammenfassung, dem Ton, dem Stil sowie der Zielgruppe.
Um die Qualität literarischer Übersetzungen zu bewerten, schlagen die Forscher zwei Strategien vor: Monolingual Human Preference (MHP) und Bilingual LLM Preference (BLP). MHP bezieht menschliche Prüfer aus der Zielgruppe ein, um Übersetzungen ohne den Einfluss des Originaltextes zu bewerten und konzentriert sich auf Flüssigkeit, Lesbarkeit und kulturelle Angemessenheit. BLP nutzt die Fähigkeiten großer Sprachmodelle, um Übersetzungen direkt mit den Originaltexten zu vergleichen.
Die empirischen Ergebnisse zeigen, dass TransAgents zwar in Bezug auf die d-BLEU-Werte, einer Metrik zur Bewertung maschineller Übersetzungen, durchweg am schlechtesten abschnitt. Dennoch bevorzugten sowohl menschliche Prüfer als auch ein LLM-Prüfer die Übersetzungen gegenüber von Menschen geschriebenen Referenzen und GPT-4-Übersetzungen.
In Genres, die domänenspezifisches Wissen wie historische Kontexte und kulturelle Nuancen erfordern, scheinen TransAgents den von Menschen geschriebenen Referenzen überlegen zu sein. In zeitgenössischen Genres bleibt es jedoch hinter diesen zurück.
Lebendigere, aber nicht immer vollständige Übersetzungen
Die Forscher stellten außerdem fest, dass TransAgents im Vergleich zu anderen Systemen Übersetzungen mit vielfältigeren und lebendigeren Beschreibungen erzeugte.
Eine Kostenanalyse ergab, dass der Einsatz von TransAgents für die Übersetzung literarischer Texte die Kosten im Vergleich zum Einsatz professioneller menschlicher Übersetzer um das 80-fache senken könnte.
Trotz der vielversprechenden Ergebnisse räumten die Forscher ein, dass LLM-basierte Übersetzungssysteme erhebliche Einschränkungen haben, insbesondere weil sie wichtige Inhalte auslassen können.
Das Feld der maschinellen Übersetzungen hat sich in den vergangenen Jahren stark weiterentwickelt, doch mit generativer KI vergrößerte sich ihr Potenzial noch mehr. Dass Systeme aus mehreren LLM-Agenten die Leistung großer Sprachmodelle drastisch verbessern können, zeigten schon vorherige Untersuchungen.
Ganz aktuell ist die Studie "More Agents Is All You Need" des Tencent AI Lab, das auch an der Entwicklung von TransAgents beteiligt war. Es war also nur eine Frage der Zeit, bis die Forschung diese beiden Bereiche miteinander verknüpfen würde.
Solange jedoch das Problem der Auslassungen nicht gelöst ist, können solche Systeme auch bei literarischen Übersetzungen den Menschen nur unterstützen, aber nicht ersetzen, da ein hohes Maß an Kontrolle erforderlich ist.
