Das japanische KI-Startup Sakana AI hat eine Methode entwickelt, um neue KI-Modelle durch die Kombination bestehender Modelle mittels eines evolutionären Algorithmus automatisiert zu generieren. Erste Ergebnisse sind vielversprechend.
Die Kernidee von Sakana AI ist es, Prinzipien aus der Natur wie Evolution und kollektive Intelligenz zu nutzen, um neue KI-Modelle zu erstellen.
Ziel ist es, eine Maschinerie zu entwickeln, die automatisch maßgeschneiderte KI-Modelle für benutzerdefinierte Anwendungsdomänen generiert, anstatt jedes Mal neue Modelle zu entwickeln.
Das in Tokio ansässige Start-up hat nun seine ersten KI-Modelle veröffentlicht, die auf einer neuen, von der Evolution inspirierten Methode namens "Evolutionary Model Fusion" basieren.
Diese nutzt evolutionäre Techniken, um effizient die besten Wege zu finden, verschiedene Modelle aus einem großen Fundus von Open-Source-Modellen mit unterschiedlichen Fähigkeiten zu kombinieren.
Video: Sakana AI
Der Ansatz funktioniert auf zwei Ebenen: Zum einen werden auf der Datenflussebene die Schichten verschiedener Modelle neu kombiniert. Zum anderen werden auf der Parameterebene die Gewichte verschiedener Modelle neu gemischt.
Der evolutionäre Algorithmus durchsucht den riesigen Raum möglicher Kombinationen, um neue und unintuitive Lösungen zu finden, die mit herkömmlichen Methoden und menschlicher Intuition nur schwer zu entdecken wären.
Zusammengesetzte KI-Modelle erzielen einzelne Bestleistungen
Um die Methode zu testen, ließ Sakana AI ein japanisches Large Language Model (LLM) mit mathematischen Fähigkeiten und ein japanisches Vision Language Model (VLM) automatisch entwickeln.
Überraschenderweise erzielten beide Modelle in mehreren LLM- und Vision-Benchmarks State-of-the-Art-Ergebnisse, obwohl sie nicht explizit für ein gutes Abschneiden in diesen Benchmarks optimiert worden waren.
Insbesondere das japanische mathematische LLM mit 7 Milliarden Parametern übertraf sogar einige frühere japanische SOTA-LLMs mit 70 Milliarden Parametern in einer Reihe von japanischen LLM-Benchmarks. Sakana AI glaubt, dass dieses experimentelle japanische mathematische LLM gut genug ist, um als allgemeines japanisches LLM verwendet zu werden.
Das japanische LLM ist auch bemerkenswert gut im Umgang mit kulturspezifischen Inhalten und erzielt hervorragende Ergebnisse mit einem japanischen Datensatz von Bild-Text-Paaren.
Die Methode kann auch auf Diffusionsmodelle für die Bilderzeugung angewendet werden. Sakana AI berichtet über vorläufige Ergebnisse, bei denen ein hochwertiges, blitzschnelles japanisches SDXL-Modell mit nur vier Diffusionsschritten entwickelt wurde.
Sakana AI veröffentlicht drei japanische Basismodelle auf Hugging Face und GithHub.
- Großes Sprachmodell (EvoLLM-JP)
- Vision-Sprachmodell (EvoVLM-JP)
- Bilderzeugungsmodell (EvoSDXL-JP, in Kürze)
Sakana AI sieht in der Kombination von Neuroevolution, kollektiver Intelligenz und Foundation Models einen vielversprechenden langfristigen Forschungsansatz.
Der evolutionäre Ansatz könnte es großen Organisationen ermöglichen, schneller und kostengünstiger maßgeschneiderte KI-Modelle zu entwickeln, indem sie die wachsende Zahl an Open-Source-KI-Modellen nutzen, bevor sie massive Ressourcen in vollständig eigene Modelle investieren, so das Start-up.
Sakana AI wurde von einem KI-Star mitbegründet
Sakana AI ist ein in Tokio ansässiges Start-up-Unternehmen, das von den ehemaligen Google-KI-Experten Llion Jones und David Ha gegründet wurde, um von der Natur inspirierte generative KI-Modelle zu entwickeln. Diese Modelle sollen verschiedene Formen von Inhalten wie Text, Bilder, Code und Multimedia erzeugen.
Die Gründer wollen KI-Systeme schaffen, die sensibel und anpassungsfähig auf Veränderungen in ihrer Umgebung reagieren, ähnlich wie natürliche Systeme mit kollektiver Intelligenz. Das stellt eine Abkehr von traditionellen KI-Modellen dar, die oft als unveränderliche Strukturen konzipiert sind.
Mitgründer Jones ist Autor des bekannten Forschungspapiers "Attention Is All You Need" aus dem Jahr 2017, in dem die "Transformer"-Architektur für tiefes Lernen vorgestellt wurde, die hinter vielen aktuellen KI-Erfolgen steht. Das Start-up-Unternehmen, das 30 Mio. USD Startkapital von Investoren wie Lux Capital und Khosla Ventures erhalten hat, will Tokio zu einem KI-Hub machen, ähnlich wie OpenAI in San Francisco und Deepmind in London.
