Inhalt
summary Zusammenfassung

Das japanische KI-Startup Sakana AI hat eine Methode entwickelt, um neue KI-Modelle durch die Kombination bestehender Modelle mittels eines evolutionären Algorithmus automatisiert zu generieren. Erste Ergebnisse sind vielversprechend.

Anzeige

Die Kernidee von Sakana AI ist es, Prinzipien aus der Natur wie Evolution und kollektive Intelligenz zu nutzen, um neue KI-Modelle zu erstellen.

Ziel ist es, eine Maschinerie zu entwickeln, die automatisch maßgeschneiderte KI-Modelle für benutzerdefinierte Anwendungsdomänen generiert, anstatt jedes Mal neue Modelle zu entwickeln.

Das in Tokio ansässige Start-up hat nun seine ersten KI-Modelle veröffentlicht, die auf einer neuen, von der Evolution inspirierten Methode namens "Evolutionary Model Fusion" basieren.

Anzeige
Anzeige

Diese nutzt evolutionäre Techniken, um effizient die besten Wege zu finden, verschiedene Modelle aus einem großen Fundus von Open-Source-Modellen mit unterschiedlichen Fähigkeiten zu kombinieren.

Video: Sakana AI

Der Ansatz funktioniert auf zwei Ebenen: Zum einen werden auf der Datenflussebene die Schichten verschiedener Modelle neu kombiniert. Zum anderen werden auf der Parameterebene die Gewichte verschiedener Modelle neu gemischt.

Der evolutionäre Algorithmus durchsucht den riesigen Raum möglicher Kombinationen, um neue und unintuitive Lösungen zu finden, die mit herkömmlichen Methoden und menschlicher Intuition nur schwer zu entdecken wären.

Zusammengesetzte KI-Modelle erzielen einzelne Bestleistungen

Um die Methode zu testen, ließ Sakana AI ein japanisches Large Language Model (LLM) mit mathematischen Fähigkeiten und ein japanisches Vision Language Model (VLM) automatisch entwickeln.

Empfehlung

Überraschenderweise erzielten beide Modelle in mehreren LLM- und Vision-Benchmarks State-of-the-Art-Ergebnisse, obwohl sie nicht explizit für ein gutes Abschneiden in diesen Benchmarks optimiert worden waren.

Insbesondere das japanische mathematische LLM mit 7 Milliarden Parametern übertraf sogar einige frühere japanische SOTA-LLMs mit 70 Milliarden Parametern in einer Reihe von japanischen LLM-Benchmarks. Sakana AI glaubt, dass dieses experimentelle japanische mathematische LLM gut genug ist, um als allgemeines japanisches LLM verwendet zu werden.

Vergleich der Leistung der LLMs beim Lösen von Mathematikaufgaben auf Japanisch. Die Modelle 1-3 sind die ursprünglichen Modelle und die Modelle 4-6 sind die optimierten fusionierten Modelle. Die Modelle 7-10 sind die Ergebnisse existierender leistungsfähiger LLMs zum Vergleich. | Bild: Sakana AI

Das japanische LLM ist auch bemerkenswert gut im Umgang mit kulturspezifischen Inhalten und erzielt hervorragende Ergebnisse mit einem japanischen Datensatz von Bild-Text-Paaren.

Die Methode kann auch auf Diffusionsmodelle für die Bilderzeugung angewendet werden. Sakana AI berichtet über vorläufige Ergebnisse, bei denen ein hochwertiges, blitzschnelles japanisches SDXL-Modell mit nur vier Diffusionsschritten entwickelt wurde.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Sakana AI veröffentlicht drei japanische Basismodelle auf Hugging Face und GithHub.

  • Großes Sprachmodell (EvoLLM-JP)
  • Vision-Sprachmodell (EvoVLM-JP)
  • Bilderzeugungsmodell (EvoSDXL-JP, in Kürze)

Sakana AI sieht in der Kombination von Neuroevolution, kollektiver Intelligenz und Foundation Models einen vielversprechenden langfristigen Forschungsansatz.

Der evolutionäre Ansatz könnte es großen Organisationen ermöglichen, schneller und kostengünstiger maßgeschneiderte KI-Modelle zu entwickeln, indem sie die wachsende Zahl an Open-Source-KI-Modellen nutzen, bevor sie massive Ressourcen in vollständig eigene Modelle investieren, so das Start-up.

Sakana AI wurde von einem KI-Star mitbegründet

Sakana AI ist ein in Tokio ansässiges Start-up-Unternehmen, das von den ehemaligen Google-KI-Experten Llion Jones und David Ha gegründet wurde, um von der Natur inspirierte generative KI-Modelle zu entwickeln. Diese Modelle sollen verschiedene Formen von Inhalten wie Text, Bilder, Code und Multimedia erzeugen.

Die Gründer wollen KI-Systeme schaffen, die sensibel und anpassungsfähig auf Veränderungen in ihrer Umgebung reagieren, ähnlich wie natürliche Systeme mit kollektiver Intelligenz. Das stellt eine Abkehr von traditionellen KI-Modellen dar, die oft als unveränderliche Strukturen konzipiert sind.

Mitgründer Jones ist Autor des bekannten Forschungspapiers "Attention Is All You Need" aus dem Jahr 2017, in dem die "Transformer"-Architektur für tiefes Lernen vorgestellt wurde, die hinter vielen aktuellen KI-Erfolgen steht. Das Start-up-Unternehmen, das 30 Mio. USD Startkapital von Investoren wie Lux Capital und Khosla Ventures erhalten hat, will Tokio zu einem KI-Hub machen, ähnlich wie OpenAI in San Francisco und Deepmind in London.

Anzeige
Anzeige
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Sakana AI, ein japanisches KI-Startup, entwickelt eine Methode namens "Evolutionary Model Fusion", die bestehende KI-Modelle durch einen evolutionären Algorithmus automatisch kombiniert, um neue Modelle zu generieren.
  • Die ersten Ergebnisse zeigen vielversprechende Leistungen: Ein automatisch entwickeltes japanisches Large Language Model (LLM) und ein Vision Language Model (VLM) erzielten Spitzenwerte in mehreren Benchmarks.
  • Die Gründer, ehemalige Google-KI-Experten, wollen durch die Nutzung von Prinzipien aus der Natur, wie Evolution und kollektive Intelligenz, KI-Systeme schaffen, die anpassungsfähiger auf Veränderungen in ihrer Umgebung reagieren.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!