Benchmarks des deutschen KI-Start-ups Aleph Alpha zeigen, dass die neuesten KI-Modelle des Start-ups mit GPT-3 von OpenAI mithalten können. Ein Erfolg, der Deutschland nicht in falscher Sicherheit wiegen sollte.
ChatGPT hat Künstliche Intelligenz wie kein anderes Produkt zuvor in die öffentliche Diskussion katapultiert. Hinter dem Chatbot steht die US-Firma OpenAI, die mit dem großen Sprachmodell GPT-3 und später mit dem Text-to-Bild-Modell DALL-E 2 für Schlagzeilen sorgte. Die heute spürbaren Auswirkungen von Systemen wie ChatGPT oder Midjourney auf Bildung und Arbeit waren schon damals absehbar.
Die zugrundeliegenden Sprachmodelle werden in der Forschung häufig als Foundation Model bezeichnet: ein großes KI-Modell, das aufgrund seines generalistischen Trainings mit großen Datensätzen später viele Aufgaben übernehmen kann, für die es nicht explizit trainiert wurde.
In Deutschland gab es daher schon früh Forderungen, etwa vom KI-Bundesverband, nach einer europäischen Initiative zum Aufbau der notwendigen Infrastruktur für große europäische KI-Modelle. Nur so könne die digitale Souveränität, Datenschutz und womöglich gleich die wirtschaftliche Zukunft Europas gesichert werden. Das Projekt LEAM wird seitdem von verschiedenen Unternehmen aus der Industrie vorangetrieben.
Aleph Alpha: Foundation Models aus Deutschland
Der Begriff Foundation Model ist umstritten, da er als Vorstufe zur allgemeinen Künstlichen Intelligenz gedeutet werden kann, sagen Kritiker:innen. Doch abseits solcher eher philosophischen Diskussionen bilden die großen KI-Modelle von OpenAI und anderen die Grundlage für potenziell transformative Technologien wie ChatGPT oder die Bing-Suche mit Persönlichkeitsspaltung.
OpenAI stellte GPT-3 im Mai 2020 vor und eröffnete einen Monat später den Zugang über eine API. Etwas mehr als ein Jahr später startete mit Jurassic-1 Jumbo des israelischen KI-Start-ups AI21-Labs das erste Konkurrenzprodukt. In China gibt es mehrere Alternativen, zu den ersten 2021 gehörten Wu Dao und PanGu-Alpha.
Und in Deutschland? Hier ist es das Heidelberger Start-up Aleph Alpha, das OpenAI Konkurrenz machen will. Die ersten Sprachmodelle der Luminous-Familie veröffentlichte Aleph Alpha im April 2022. Das bisher größte Modell Luminous-Supreme mit 70 Milliarden Parametern gibt es seit August 2022.
Nun veröffentlicht Aleph Alpha Benchmark-Ergebnisse, die das größte Luminous-Modell mit OpenAIs GPT-3 ("davinci" - 175 Milliarden Parameter), BigSciences BLOOM (176 Milliarden Parameter) und Metas OPT (175 Milliarden Parameter) vergleichen.
Luminous schließt Lücke zu OpenAI
Die Modelle traten in verschiedenen Aufgaben, wie Klassifikation, Commonsense Reasoning oder Natural Language Inference gegeneinander an. Aleph Alpha verwendet dazu den "Evaluation Harness" des offenen Forschungskollektivs Eleuther AI.
In fast allen Aufgaben erreicht Luminous die Leistung von GPT-3, in einer Kategorie übertrifft es sie sogar - und das bei weniger als der Hälfte der Parameter. In der Praxis bedeutet dies eine bessere Skalierbarkeit und einen geringeren Ressourcenverbrauch für Luminous-Supreme. Die im letzten Jahr veröffentlichten Modelle Meta OPT und BigScience Bloom folgen den beiden Modellen im Durchschnitt mit wenigen Prozentpunkten Abstand.
Kein Grund, sich auszuruhen: Europa muss KI weiter fördern
Der Erfolg von Aleph Alpha ist eine gute Nachricht für das Start-up und eine gute Nachricht für Europa, denn es ist das erste europäische KI-Modell auf GPT-3-Niveau.
"Was uns Kunden und Partner aus den Use-Cases bestätigen, lässt sich auch in der Summe der von uns durchgeführten Tests zeigen: Luminous ist in vielen Umgebungen eine starke Alternative und damit ein wichtiger Schritt zur Technologiesouveränität Europas", ordnet Jonas Andrulis, Gründer und CEO von Aleph Alpha, die Ergebnisse ein.
Doch die Ergebnisse lassen auch einen anderen Blickwinkel zu: Es hat mehr als zwei Jahre gedauert, bis eine europäische Alternative zum GPT-3 davinci-Modell von OpenAI zur Verfügung stand. Jurassic-1 Jumbo erreicht in Benchmarks ebenfalls vergleichbare Ergebnisse und ist seit mehr als eineinhalb Jahren auf dem Markt.
In der Zwischenzeit hat OpenAI weitere Iterationen des davinci-Modells veröffentlicht, darunter kürzlich text-davinci-003, das mit menschlichem Feedback trainiert wurde und die Grundlage für ChatGPT bildet.
Überdies hat Google Anfang April 2022 das 540 Milliarden Parameter umfassende PaLM vorgestellt, das in fast allen Benchmarks GPT-3 davinci deutlich schlagen konnte.
Damit soll der Erfolg von Aleph Alpha keineswegs geschmälert werden: Kein anderes europäisches Unternehmen oder eine europäische öffentliche Initiative hat ein derart leistungsfähiges Modell hervorgebracht. Das Beispiel zeigt aber auch, dass Europa und Deutschland die Entwicklung und Förderung von KI noch ernster nehmen müssen.
Aleph Alpha plant neues Modell, das GPT-4 Konkurrenz machen könnte
Dank Aleph Alpha und Luminous-Supreme ist Europa im KI-Wettrennen jetzt besser positioniert. Mit dem 70-Milliarden-Parameter-Modell hat das Unternehmen den Sprung in die Spitzengruppe geschafft und vor allem gezeigt, dass mit weniger Parametern mehr erreicht werden kann.
Mit dem Modell "Luminous-Supreme-Control" hat Aleph Alpha in diesem Monat zudem ein neues Angebot gestartet, das als Alternative zu den neueren Modellen von OpenAI positioniert ist.
Ein weiteres KI-System ist aktuell in einer Testphase: Luminous-World ist mit 300 Milliarden Parameter das bisher größte KI-Modell von Aleph Alpha und soll neue Möglichkeiten für "hochkomplexe und kritische Anwendungen" bieten. Es soll noch in diesem Jahr veröffentlicht werden.
Das 300-Milliarden-Parameter-Modell wird damit voraussichtlich in direkte Konkurrenz zu OpenAIs GPT-4 treten und könnte das deutsche Start-up als zentralen Player im internationalen Wettbewerb positionieren.
Gleichzeitig will das Unternehmen die eigene Technologie im Bereich der Nachvollziehbarkeit und Erklärbarkeit weiterentwickeln: "Nur so können wir eine nachhaltige und ethische Entwicklung gewährleisten, die unseren Werten und Ansprüchen entspricht - hier geht es um mehr als Datenschutz", so Andrulis.
Aleph Alphas Luminous-Modelle sind über die Luminous App und API verfügbar.
Wer mehr über Aleph Alpha und Jonas Andrulis erfahren möchte, kann sich unseren DEEP MINDS Podcast #13 mit Jonas Andrulis anhören.
