Inhalt
summary Zusammenfassung

Ein neues Projekt hat sich zum Ziel gesetzt, alle Sprachen Europas in einem Modell zu vereinen. Jetzt erhält EuroLingua die dafür notwendige Rechenleistung auf einem Supercomputer in Barcelona. 

Das Fraunhofer IAIS (Institut für Intelligente Analyse- und Informationssysteme) und AI Sweden haben Rechenzeit auf dem neuen Supercomputer MareNostrum 5 am Barcelona Supercomputing Center erhalten.

Die Zuteilung durch das European High Performance Computing Joint Undertaking (EuroHPC JU) ist eine der größten, die je für die Entwicklung großer europäischer Sprachmodelle auf der EuroHPC-Infrastruktur vergeben wurde.

Modelle mit bis zu 180 Milliarden Parametern

Ab Ende Mai 2024 werden die Partner im Rahmen des einjährigen Projekts "EuroLingua-GPT" mit der Berechnung der ersten multilingualen Modelle beginnen. Mit einer Zuteilung von 8,8 Millionen GPU-Stunden auf Nvidias H100-Chips können die Partner kleine Modelle im Bereich von 7 bis 34 Milliarden Parametern und große Modelle mit bis zu 180 Milliarden Parametern von Grund auf trainieren. Die ersten Modelle sollen dann in den folgenden Monaten als Open Source veröffentlicht werden.

Anzeige
Anzeige
Der Trainingsdatensatz von EuroLingua besteht aus 45 europäischen Sprachen, Dialekten und Code. | Bild: Fraunhofer IAIS

Die EuroLingua-Modelle basieren auf einem Trainingsdatensatz aus 45 europäischen Sprachen, Dialekte und Code, darunter die 24 offiziellen europäischen Sprachen. Damit liegt ein bedeutender Schwerpunkt auf europäischen Sprachen und Werten, da multilinguale KI-Sprachmodelle noch selten sind.

Die gewonnenen Rechenkapazitäten sind ein Meilenstein für Deutschland und Europa. Die damit trainierten Modelle werden den Einsatz von generativer KI in Unternehmen massiv beschleunigen und sowohl der Wirtschaft als auch der Wissenschaft einen Schub geben - GenAI 'made in Europe' wird konkret.

Joachim Köhler, Leiter der Abteilung NetMedia am Fraunhofer IAIS

Das Fraunhofer IAIS und AI Sweden bündeln für dieses Projekt ihre Expertise. Das genannte Fraunhofer-Institut leitet das vom Bundeswirtschaftsministerium geförderte Vorhaben OpenGPT-X, das ebenfalls große europäische multilinguale Open-Source-Modelle entwickelt. Die NLU-Gruppe (Natural Language Understanding) bei AI Sweden hat das GPT-SW3 LLM für die skandinavischen Sprachen entwickelt.

Große Generalisten und kleine Experten

EuroLingua-GPT ist eines von drei großen laufenden EU-Projekten zu Sprachmodellen, an denen das Fraunhofer IAIS und AI Sweden neben TrustLLM und Deploy AI beteiligt sind.

Die auf der EuroHPC-Infrastruktur entwickelten Modelle sollen als generalistische Basismodelle die Forschung und Wissenschaft fördern und durch gemeinsame Transferprojekte später auch für den produktiven Einsatz in Unternehmen oder öffentlichen Verwaltungen spezialisiert werden.

Neben Schweden wird auch im Nachbarland Finnland an Open-Source-Sprachmodellen für Europa gearbeitet, beispielsweise in Form von Poro von Silo AI, wobei man hier noch weit von einem leistungsfähigen, multilingualen Modell entfernt ist.

Empfehlung

Das französische Mistral konnte mit Mixtral bereits größere Fortschritte vorzeigen, dieses schneidet in Europa-Benchmarks aber nur auf Französisch, Italienisch, Deutsch und Spanisch besser ab als andere offene Modelle.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Das Fraunhofer IAIS und AI Sweden haben Rechenzeit auf dem Supercomputer MareNostrum 5 in Barcelona erhalten, um im Rahmen des Projekts "EuroLingua-GPT" mehrsprachige europäische Sprachmodelle zu entwickeln.
  • Mit 8,8 Millionen GPU-Stunden auf Nvidias H100-Chips können die Partner Modelle mit bis zu 180 Milliarden Parametern trainieren, die auf einem Datensatz von 45 europäischen Sprachen, Dialekten und Codes basieren. Die ersten Modelle sollen noch in diesem Jahr als Open Source veröffentlicht werden.
  • EuroLingua-GPT ist eines von drei großen EU-Projekten zu Sprachmodellen, an denen das Fraunhofer IAIS und AI Sweden beteiligt sind. Die Modelle sollen die Forschung unterstützen und später für den produktiven Einsatz in Unternehmen und Verwaltungen spezialisiert werden.
Quellen
Jonathan ist Technikjournalist und beschäftigt sich stark mit Consumer Electronics. Er erklärt seinen Mitmenschen, wie KI bereits heute nutzbar ist und wie sie im Alltag unterstützen kann.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!