Inhalt
summary Zusammenfassung

Das Center for Research on Foundation Models (CRFM) an der Stanford HAI hat den Foundation Model Transparency Index (FMTI) entwickelt, ein Bewertungssystem für die Transparenz von Unternehmen im Bereich der KI-Grundlagenmodelle.

Anzeige

Der Index untersucht 100 verschiedene Aspekte der Transparenz, einschließlich der Art und Weise, wie ein Unternehmen ein Foundation Model erstellt, wie es funktioniert und wie es in nachgelagerten Anwendungen verwendet wird.

Laut FMTI sind die meisten Unternehmen, darunter auch OpenAI, zunehmend intransparent. Dies erschwere es Unternehmen, Wissenschaftlern, politischen Entscheidungsträgern und Verbrauchern, diese Modelle zu verstehen und sicher zu nutzen.

Die höchsten erreichten Punktzahlen lagen zwischen 47 und 54 von 100 möglichen Punkten, was nach Ansicht des Forschungsteams auf einen erheblichen Verbesserungsbedarf hinweist.

Anzeige
Anzeige
Bild: Stanford HAI

Das Forschungsteam ermittelte die Daten anhand eines strukturierten Rechercheprotokolls über die besten Modellentwickler, mit dem es öffentlich verfügbare Informationen über die führenden Modelle der einzelnen Unternehmen sammelte.

Open Source führt, aber der Abstand ist gering

Mit Metas Llama 2 führt zwar ein Open-Source-Modell die Liste an, erreicht aber nur einen Transparenzwert von 54 Prozent. OpenAI, von der Open-Source-Szene als "geschlossene" KI verschmäht, liegt mit seinem Spitzenmodell GPT-4 mit 48 Prozent nur knapp hinter Llama 2.

In der wohl wichtigsten Kategorie, den Daten, mit denen die KI trainiert wird, fallen fast alle Modellanbieter mit Werten deutlich unter 50 Prozent durch.

"Wir sollten Meta nicht als ein Ziel betrachten, bei dem jeder versucht, dorthin zu gelangen, wo Meta ist", sagt Rishi Bommasani, Society Lead am Center for Research on Foundation Models (CRFM). "Wir sollten uns daran erinnern, dass jeder versucht, 80, 90 oder vielleicht 100 Jahre alt zu werden.

Bild: Stanford HAI

Der FMTI soll politischen Entscheidungsträgern dabei helfen, Foundation Modelle effektiv zu regulieren und Unternehmen dazu motivieren, ihre Transparenz zu verbessern.

Empfehlung

"Er ist ein ziemlich klarer Indikator dafür, wie diese Unternehmen im Vergleich zu ihren Mitbewerbern abschneiden, und wir hoffen, dass er sie dazu motiviert, ihre Transparenz zu verbessern", sagt Bommasani.

Die vollständige Methodik und die Ergebnisse sind in einem 100-seitigen Begleitdokument zum Index verfügbar.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Das Stanford HAI Center for Research on Foundation Models hat den Foundation Model Transparency Index (FMTI) entwickelt, um die Transparenz von KI-Grundlagenmodellen in Unternehmen zu bewerten.
  • Der FMTI untersucht 100 Aspekte der Transparenz, wie z.B. die Erstellung, den Betrieb und die Verwendung von Foundation-Modellen. Die meisten Unternehmen, darunter auch OpenAI, sind zunehmend intransparent.
  • Die höchsten erreichten Punktzahlen liegen zwischen 47 und 54 von 100 möglichen Punkten, was auf einen erheblichen Verbesserungsbedarf hinweist. Der FMTI soll helfen, Foundation-Modelle zu regulieren und Unternehmen zu motivieren, ihre Transparenz zu verbessern.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!