Mit Inflection 2.5 stellt das KI-Start-up Inflection ein neues KI-Sprachmodell vor, das mit vergleichsweise geringem Rechenaufwand zu GPT-4 aufschließen kann.
Das auf die Entwicklung von KI-Assistenten spezialisierte KI-Start-up Inflection stellt sein neuestes LLM vor: Inflection-2.5 soll zu führenden Modellen wie GPT-4 aufschließen und dabei effizienter sein.
Das neue Modell ist in Inflections KI-Assistenten "Pi" integriert und wurde nach Angaben des Start-ups für "Empathie und Sicherheit" optimiert. Es ist ab sofort für alle Pi-Nutzer über die Webseite von Inflection verfügbar.
KI-Training wird effizienter
Inflection-2.5 soll 94 Prozent der durchschnittlichen Leistung von GPT-4 erreichen, aber nur 40 Prozent des geschätzten Rechenaufwands für das Training benötigen. Inflection hebt besonders die Fortschritte in den STEM-Fächern (Naturwissenschaften, Technik, Ingenieurwissenschaften und Mathematik) hervor.
Im bekannten Sprachverständnis-Benchmark MMLU-Benchmark schließt Inflection 2.5 zu GPT-4 auf, allerdings mit einer speziellen Prompting-Methode. Insofern hinkt auch der Vergleich mit Inflection-1, da hier für die 72,7 Punkte ein einfacherer Prompt verwendet wurde. Inflection 2 erreichte im MMLU mit der 5-Shot-Methode (Prompt mit fünf Lösungsbeispielen, Industriestandard) knapp 80 Punkte.
Im MT-Bench, der die Konversationsfähigkeit von KI-Modellen testet und wie gut diese einem Prompt folgen können, schneidet Inflection 2.5 zwischen GPT-3.5 und GPT-4 ab.
Kurios: Bei der Auswertung fiel Inflection auf, dass fast 25 Prozent der Beispiele in den Bereichen Schlussfolgern, Mathematik und Codieren falsche Referenzlösungen hatten. Das Start-up hat diese korrigiert und einen überarbeiteten Datensatz (MT-Bench Corrected) veröffentlicht. Ein weiterer Hinweis auf die begrenzte Aussagekraft synthetischer Benchmarks.
Das Modell wurde auch in der ungarischen Mathematikprüfung, die nicht in den Trainingsdaten enthalten sein sollte, und im Physik-GRE, einer Aufnahmeprüfung für das Physikstudium, getestet. Inflection-2.5 erreichte das 85. Perzentil der menschlichen Testpersonen im Physik-Test und kam mit einer erweiterten Prompting-Methode nahe an die maximale Punktzahl heran, knapp hinter GPT-4.
Inflection AI wurde von LinkedIn-Gründer Reid Hoffman, Deepmind-Mitbegründer Mustafa Suleyman und dem ehemaligen Deepmind-Forscher Karén Simonyan gegründet. Das Ziel des Start-ups ist es, eine Schnittstelle zu schaffen, die es Menschen ermöglicht, mit Computern zu sprechen und ihnen komplexe Aufgaben zu übertragen, ohne Code lernen zu müssen.
Das Start-up hat Investitionen von bekannten Persönlichkeiten und Unternehmen wie Nvidia und Microsoft, Reid Hoffman, Bill Gates und Eric Schmidt.
