Inhalt
summary Zusammenfassung

Eine Studie der Stanford University zeigt, dass KI-Entwickler in den letzten sechs Monaten deutlich mehr Informationen über ihre Modelle preisgegeben haben. Dennoch gibt es noch viel Raum für Verbesserungen.

Anzeige

Laut einer aktuellen Studie der Stanford University sind KI-Firmen in den letzten sechs Monate transparenter geworden, wenn es um Informationen zu ihren großen Sprachmodellen geht. Der sogenannte "Foundation Model Transparency Index" (FMTI) bewertet Unternehmen anhand von 100 Transparenzindikatoren zu Themen wie Daten, Rechenleistung, Fähigkeiten und Risiken der Modelle.

Im Oktober 2023 erreichten die bewerteten Unternehmen im Durchschnitt nur 37 von 100 möglichen Punkten. Die jetzt veröffentlichte Folgestudie vom Mai 2024 zeigt nun einen Anstieg auf durchschnittlich 58 Punkte.

Im Vergleich zum Oktober 2023 haben sich jedoch alle acht bewerteten Unternehmen in beiden Studien verbessert. Einige haben sich drastisch verbessert, wie AI21 Labs von 25 auf 75 Punkte. Andere, wie OpenAI, verbesserten sich nur leicht von 48 auf 49 Punkte. Insgesamt eine Verbesserung, aber von echter Transparenz noch weit entfernt.

Anzeige
Anzeige
Bild: Stanford CRFM

Für die aktuelle Studie haben 14 Entwickler, darunter acht aus der vorherigen Studie wie OpenAI und Anthropic und sechs neue wie IBM, Transparenzberichte eingereicht. Im Durchschnitt machten sie Angaben zu 16 zusätzlichen Indikatoren, die zuvor nicht öffentlich zugänglich waren.

Am transparentesten sind die Entwickler in Bezug auf die Fähigkeiten ihrer Modelle und die Dokumentation für nachgelagerte Anwendungen. Sehr intransparent bleiben dagegen bei besonders sensiblen Themen wie Trainingsdaten, Zuverlässigkeit der Modelle und deren Auswirkungen.

Bei 96 der 100 Indikatoren erreichte mindestens ein Unternehmen einen Punkt, bei 89 Indikatoren sogar mehrere. Würden sich alle an den transparentesten Unternehmen der jeweiligen Kategorie orientieren, wären große Fortschritte möglich, so die Forscher.

Allerdings zeigt die Studie auch systemische Intransparenz in einigen Bereichen, in denen fast alle Entwickler Informationen zurückhalten, zum Beispiel zum Copyright-Status der Trainingsdaten und zum Einsatz der Modelle in verschiedenen Ländern und Branchen.

 

Empfehlung

Eine detaillierte Auswertung der einzelnen bewerteten Modelle ist hier auf einer interaktiven Webseite zugänglich.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Eine Studie der Stanford University zeigt, dass KI-Entwickler in den letzten sechs Monaten deutlich transparenter geworden sind, wenn es um Informationen zu ihren großen Sprachmodellen geht. Der "Foundation Model Transparency Index" (FMTI) bewertet Unternehmen anhand von 100 Transparenzindikatoren.
  • Im Vergleich zum Oktober 2023 verbesserten sich alle acht in beiden Studien bewerteten Unternehmen, manche wie AI21 Labs drastisch von 25 auf 75 Punkte, andere wie OpenAI nur geringfügig von 48 auf 49 Punkte. Insgesamt erreichten die Unternehmen im Mai 2024 durchschnittlich 58 von 100 möglichen Punkten.
  • Am transparentesten sind die Entwickler bezüglich der Fähigkeiten ihrer Modelle und der Dokumentation für nachgelagerte Einsätze. Intransparent bleiben hingegen Themen wie Trainingsdaten, Vertrauenswürdigkeit und Auswirkungen der Modelle. Die Studie zeigt auch systemische Intransparenz in Bereichen wie dem Urheberrechtsstatus der Trainingsdaten.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!