Forscherinnen und Forscher der Stanford University haben untersucht, welche großen KI-Sprachmodelle unter dem EU AI Act verwendet werden dürfen. Das Ergebnis spricht je nach Standpunkt für oder gegen den EU AI Act.
Denn von den zehn untersuchten Sprachmodellen erreicht keines die volle Konformität mit dem EU AI Act, was 48 Punkten entsprechen würde. Die Forscherinnen und Forscher untersuchten die Sprachmodelle in insgesamt zwölf Kategorien mit jeweils maximal vier Punkten.
Zu den Kategorien gehören etwa die Transparenz der Datenquellen, der Umgang mit urheberrechtlich geschützten Daten, die Risikominimierung sowie der Rechen- und Energieaufwand. Zwei federführende Autoren nahmen die erste Einstufung nach einer vorgegebenen Methodik vor. Ihre Bewertung wurde anschließend von allen Autoren diskutiert und abgestimmt.
Open Source ganz vorne
Die beiden Modelle mit der höchsten EU-Act-Kompatibilität sind Bloom (36 Punkte) von Big Science und GPT-NeoX (29 Punkte) von Eleuther AI. Beide Modelle sind Open Source und daher schon aus Wettbewerbsgründen transparenter dokumentiert als die Modelle kommerzieller Anbieter. Allerdings erreichen die offenen Modelle auch nicht deren Leistungsfähigkeit.
Anhaltende Herausforderungen, bei denen viele Anbieter schlecht abschneiden, sind die Verwendung urheberrechtlich geschützter Daten, unklare Angaben zum Rechen- und Energieaufwand, unklare Angaben zu Maßnahmen zur Risikominderung und fehlende Standards bei der Bewertung der Modellleistung, insbesondere im Hinblick auf negative Auswirkungen.
Aufgrund des Brüssel-Effekts gehen die Forschenden aus Stanford davon aus, dass der EU AI Act derzeit die "weltweit wichtigste regulatorische KI-Initiative" ist, da sich Gesetzgeber weltweit daran orientieren und multinationale Konzerne einheitliche KI-Entwicklungsprozesse anstreben würden. Dies wiederum werde die digitale Lieferkette und die gesellschaftlichen Auswirkungen von KI prägen.
AI Act Compliance "in Reichweite"
Trotz der geringen Compliance vieler Hersteller gehen die Autor:innen der Studie davon aus, dass eine Gesamtpunktzahl im Bereich von 30 bis 40 für viele durch "sinnvolle und plausible Änderungen" erreichbar wäre. Anreize wie Bußgelder bei Nichteinhaltung könnten hier ohne großen regulatorischen Druck ausreichen.
Wir sind der Meinung, dass eine ausreichende Transparenz, um die Anforderungen des Gesetzes in Bezug auf Daten, Berechnungen und andere Faktoren zu erfüllen, wirtschaftlich machbar sein sollte, wenn die Anbieter von grundlegenden Modellen gemeinsam Maßnahmen ergreifen, die sich aus Branchenstandards oder Vorschriften ergeben.
Aus der Studie
Die Umsetzung der zwölf Anforderungen des Gesetzes würde zu "signifikanten positiven Veränderungen im Ökosystem der grundlegenden Modelle" führen und sei trotz der schlechten Ergebnisse für die meisten Anbieter in Reichweite. Allerdings gehe der Trend derzeit zu weniger Transparenz.
"Die Anbieter sollten Maßnahmen ergreifen, um gemeinsam Industriestandards zu definieren, die die Transparenz verbessern, und die politischen Entscheidungsträger sollten Maßnahmen ergreifen, um sicherzustellen, dass eine angemessene Transparenz dieser Allzwecktechnologie zugrunde liegt."
