Neue KI-Benchmarks: OpenAI will mit Pioneers-Programm Praxistests verbessern

OpenAI startet ein neues Programm zur Entwicklung branchenspezifischer KI-Bewertungssysteme. Das "Pioneers Program" soll Benchmarks für Bereiche wie Recht, Finanzen und Gesundheitswesen schaffen, die reale Anwendungsfälle besser abbilden als bestehende Tests. Aktuelle KI-Benchmarks sind laut OpenAI problematisch, da sie oft schwer verständliche Aufgaben messen oder manipulierbar sind - ein Vorwurf, dem sich das Unternehmen selbst immer wieder stellen muss. In den kommenden Monaten will das Unternehmen mit "mehreren Firmen" zusammenarbeiten, um maßgeschneiderte Bewertungsmaßstäbe zu entwickeln und später öffentlich zu teilen. Die erste Gruppe besteht aus ausgewählten Start-ups mit praktischen KI-Anwendungen. Teilnehmende Unternehmen können zudem mit OpenAI an Modellverbesserungen durch Reinforcement-Fine-Tuning arbeiten.