Inflection-2.5: Neues LLM des Deepmind-Gründers soll zu GPT-4 aufschließen
Kurz & Knapp
- Das KI-Start-up Inflection hat sein neues Sprachmodell Inflection 2.5 vorgestellt, das bei geringerem Rechenaufwand eine Leistung nahe GPT-4 erreichen soll. Es ist in den KI-Assistenten "Pi" integriert.
- Im MMLU-Benchmark für Sprachverständnis erreicht Inflection 2.5 mit einer speziellen Prompting-Methode ähnliche Ergebnisse wie GPT-4, im MT-Bench für Konversationsfähigkeit liegt es zwischen GPT-3.5 und GPT-4.
- Inflection AI wurde von bekannten Tech-Größen wie LinkedIn-Gründer Reid Hoffman und Deepmind-Mitbegründer Mustafa Suleyman gegründet. Das Start-up will Code durch natürliche Sprache ersetzen. Investoren sind unter anderem Microsoft und Nvidia.
Mit Inflection 2.5 stellt das KI-Start-up Inflection ein neues KI-Sprachmodell vor, das mit vergleichsweise geringem Rechenaufwand zu GPT-4 aufschließen kann.
Das auf die Entwicklung von KI-Assistenten spezialisierte KI-Start-up Inflection stellt sein neuestes LLM vor: Inflection-2.5 soll zu führenden Modellen wie GPT-4 aufschließen und dabei effizienter sein.
Das neue Modell ist in Inflections KI-Assistenten "Pi" integriert und wurde nach Angaben des Start-ups für "Empathie und Sicherheit" optimiert. Es ist ab sofort für alle Pi-Nutzer über die Webseite von Inflection verfügbar.
KI-Training wird effizienter
Inflection-2.5 soll 94 Prozent der durchschnittlichen Leistung von GPT-4 erreichen, aber nur 40 Prozent des geschätzten Rechenaufwands für das Training benötigen. Inflection hebt besonders die Fortschritte in den STEM-Fächern (Naturwissenschaften, Technik, Ingenieurwissenschaften und Mathematik) hervor.
Im bekannten Sprachverständnis-Benchmark MMLU-Benchmark schließt Inflection 2.5 zu GPT-4 auf, allerdings mit einer speziellen Prompting-Methode. Insofern hinkt auch der Vergleich mit Inflection-1, da hier für die 72,7 Punkte ein einfacherer Prompt verwendet wurde. Inflection 2 erreichte im MMLU mit der 5-Shot-Methode (Prompt mit fünf Lösungsbeispielen, Industriestandard) knapp 80 Punkte.
Im MT-Bench, der die Konversationsfähigkeit von KI-Modellen testet und wie gut diese einem Prompt folgen können, schneidet Inflection 2.5 zwischen GPT-3.5 und GPT-4 ab.
Kurios: Bei der Auswertung fiel Inflection auf, dass fast 25 Prozent der Beispiele in den Bereichen Schlussfolgern, Mathematik und Codieren falsche Referenzlösungen hatten. Das Start-up hat diese korrigiert und einen überarbeiteten Datensatz (MT-Bench Corrected) veröffentlicht. Ein weiterer Hinweis auf die begrenzte Aussagekraft synthetischer Benchmarks.
Das Modell wurde auch in der ungarischen Mathematikprüfung, die nicht in den Trainingsdaten enthalten sein sollte, und im Physik-GRE, einer Aufnahmeprüfung für das Physikstudium, getestet. Inflection-2.5 erreichte das 85. Perzentil der menschlichen Testpersonen im Physik-Test und kam mit einer erweiterten Prompting-Methode nahe an die maximale Punktzahl heran, knapp hinter GPT-4.
Inflection AI wurde von LinkedIn-Gründer Reid Hoffman, Deepmind-Mitbegründer Mustafa Suleyman und dem ehemaligen Deepmind-Forscher Karén Simonyan gegründet. Das Ziel des Start-ups ist es, eine Schnittstelle zu schaffen, die es Menschen ermöglicht, mit Computern zu sprechen und ihnen komplexe Aufgaben zu übertragen, ohne Code lernen zu müssen.
Das Start-up hat Investitionen von bekannten Persönlichkeiten und Unternehmen wie Nvidia und Microsoft, Reid Hoffman, Bill Gates und Eric Schmidt.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.