Das Center for Research on Foundation Models (CRFM) an der Stanford HAI hat den Foundation Model Transparency Index (FMTI) entwickelt, ein Bewertungssystem für die Transparenz von Unternehmen im Bereich der KI-Grundlagenmodelle.
Der Index untersucht 100 verschiedene Aspekte der Transparenz, einschließlich der Art und Weise, wie ein Unternehmen ein Foundation Model erstellt, wie es funktioniert und wie es in nachgelagerten Anwendungen verwendet wird.
Laut FMTI sind die meisten Unternehmen, darunter auch OpenAI, zunehmend intransparent. Dies erschwere es Unternehmen, Wissenschaftlern, politischen Entscheidungsträgern und Verbrauchern, diese Modelle zu verstehen und sicher zu nutzen.
Die höchsten erreichten Punktzahlen lagen zwischen 47 und 54 von 100 möglichen Punkten, was nach Ansicht des Forschungsteams auf einen erheblichen Verbesserungsbedarf hinweist.
Das Forschungsteam ermittelte die Daten anhand eines strukturierten Rechercheprotokolls über die besten Modellentwickler, mit dem es öffentlich verfügbare Informationen über die führenden Modelle der einzelnen Unternehmen sammelte.
Open Source führt, aber der Abstand ist gering
Mit Metas Llama 2 führt zwar ein Open-Source-Modell die Liste an, erreicht aber nur einen Transparenzwert von 54 Prozent. OpenAI, von der Open-Source-Szene als "geschlossene" KI verschmäht, liegt mit seinem Spitzenmodell GPT-4 mit 48 Prozent nur knapp hinter Llama 2.
In der wohl wichtigsten Kategorie, den Daten, mit denen die KI trainiert wird, fallen fast alle Modellanbieter mit Werten deutlich unter 50 Prozent durch.
"Wir sollten Meta nicht als ein Ziel betrachten, bei dem jeder versucht, dorthin zu gelangen, wo Meta ist", sagt Rishi Bommasani, Society Lead am Center for Research on Foundation Models (CRFM). "Wir sollten uns daran erinnern, dass jeder versucht, 80, 90 oder vielleicht 100 Jahre alt zu werden.
Der FMTI soll politischen Entscheidungsträgern dabei helfen, Foundation Modelle effektiv zu regulieren und Unternehmen dazu motivieren, ihre Transparenz zu verbessern.
"Er ist ein ziemlich klarer Indikator dafür, wie diese Unternehmen im Vergleich zu ihren Mitbewerbern abschneiden, und wir hoffen, dass er sie dazu motiviert, ihre Transparenz zu verbessern", sagt Bommasani.
Die vollständige Methodik und die Ergebnisse sind in einem 100-seitigen Begleitdokument zum Index verfügbar.
