Inhalt
summary Zusammenfassung

Mit Inflection 2.5 stellt das KI-Start-up Inflection ein neues KI-Sprachmodell vor, das mit vergleichsweise geringem Rechenaufwand zu GPT-4 aufschließen kann.

Anzeige

Das auf die Entwicklung von KI-Assistenten spezialisierte KI-Start-up Inflection stellt sein neuestes LLM vor: Inflection-2.5 soll zu führenden Modellen wie GPT-4 aufschließen und dabei effizienter sein.

Das neue Modell ist in Inflections KI-Assistenten "Pi" integriert und wurde nach Angaben des Start-ups für "Empathie und Sicherheit" optimiert. Es ist ab sofort für alle Pi-Nutzer über die Webseite von Inflection verfügbar.

KI-Training wird effizienter

Inflection-2.5 soll 94 Prozent der durchschnittlichen Leistung von GPT-4 erreichen, aber nur 40 Prozent des geschätzten Rechenaufwands für das Training benötigen. Inflection hebt besonders die Fortschritte in den STEM-Fächern (Naturwissenschaften, Technik, Ingenieurwissenschaften und Mathematik) hervor.

Anzeige
Anzeige
Bild: Inflection AI

Im bekannten Sprachverständnis-Benchmark MMLU-Benchmark schließt Inflection 2.5 zu GPT-4 auf, allerdings mit einer speziellen Prompting-Methode. Insofern hinkt auch der Vergleich mit Inflection-1, da hier für die 72,7 Punkte ein einfacherer Prompt verwendet wurde. Inflection 2 erreichte im MMLU mit der 5-Shot-Methode (Prompt mit fünf Lösungsbeispielen, Industriestandard) knapp 80 Punkte.

Bild: Inflection AI

Im MT-Bench, der die Konversationsfähigkeit von KI-Modellen testet und wie gut diese einem Prompt folgen können, schneidet Inflection 2.5 zwischen GPT-3.5 und GPT-4 ab.

Kurios: Bei der Auswertung fiel Inflection auf, dass fast 25 Prozent der Beispiele in den Bereichen Schlussfolgern, Mathematik und Codieren falsche Referenzlösungen hatten. Das Start-up hat diese korrigiert und einen überarbeiteten Datensatz (MT-Bench Corrected) veröffentlicht. Ein weiterer Hinweis auf die begrenzte Aussagekraft synthetischer Benchmarks.

Bild: Inflection AI

Das Modell wurde auch in der ungarischen Mathematikprüfung, die nicht in den Trainingsdaten enthalten sein sollte, und im Physik-GRE, einer Aufnahmeprüfung für das Physikstudium, getestet. Inflection-2.5 erreichte das 85. Perzentil der menschlichen Testpersonen im Physik-Test und kam mit einer erweiterten Prompting-Methode nahe an die maximale Punktzahl heran, knapp hinter GPT-4.

Bild: Inflection AI

Inflection AI wurde von LinkedIn-Gründer Reid Hoffman, Deepmind-Mitbegründer Mustafa Suleyman und dem ehemaligen Deepmind-Forscher Karén Simonyan gegründet. Das Ziel des Start-ups ist es, eine Schnittstelle zu schaffen, die es Menschen ermöglicht, mit Computern zu sprechen und ihnen komplexe Aufgaben zu übertragen, ohne Code lernen zu müssen.

Empfehlung

Das Start-up hat Investitionen von bekannten Persönlichkeiten und Unternehmen wie Nvidia und Microsoft, Reid Hoffman, Bill Gates und Eric Schmidt.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Das KI-Start-up Inflection hat sein neues Sprachmodell Inflection 2.5 vorgestellt, das bei geringerem Rechenaufwand eine Leistung nahe GPT-4 erreichen soll. Es ist in den KI-Assistenten "Pi" integriert.
  • Im MMLU-Benchmark für Sprachverständnis erreicht Inflection 2.5 mit einer speziellen Prompting-Methode ähnliche Ergebnisse wie GPT-4, im MT-Bench für Konversationsfähigkeit liegt es zwischen GPT-3.5 und GPT-4.
  • Inflection AI wurde von bekannten Tech-Größen wie LinkedIn-Gründer Reid Hoffman und Deepmind-Mitbegründer Mustafa Suleyman gegründet. Das Start-up will Code durch natürliche Sprache ersetzen. Investoren sind unter anderem Microsoft und Nvidia.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!