Welche Regeln müssen für KI gelten? Mit dieser Frage beschäftigt sich die EU derzeit intensiv. Ihr Eifer ist bemerkenswert, wenngleich der Gesetzesentwurf noch nicht perfekt ist.
Künstliche Intelligenz (KI) weckt große Hoffnungen, nicht nur bei Technikenthusiast:innen. Durch die Erkennung von Mustern in großen Datenmengen können KI-Techniken bei der Analyse, Vorhersage, Empfehlung und sogar bei der Entscheidungsfindung in allen Bereichen unseres Lebens unterstützen - eine Funktion, die von vielen begrüßt wird. In der Regel geht es dabei um die Analyse und Beeinflussung sozialer Phänomene durch deren Quantifizierung.
Solche Prozesse sind jedoch nicht perfekt: Oft können nur indirekte Datenpunkte (Proxies) gesammelt werden, wobei einige Aspekte in der Übersetzung verloren gehen. Außerdem wird befürchtet, dass wenn man einen kaputten Prozess digitalisiere, man einen kaputten digitalen Prozess erhalte.
"If you digitize a broken process, you have a digitized broken process." To understand the root problems you have to start with people, not the technology. @taradmcguinness talking about her new book with @hanaschank #powertothepublic
— Anne-Marie Slaughter🇺🇦 (@SlaughterAM) April 13, 2021
Vor allem Jurist:innen und Ethiker:innen, die stets das Schreckgespenst neuer gesellschaftlicher Errungenschaften sind, beschäftigt eine Frage: Wenn das Sammeln noch nie dagewesener Datenmengen uns nur einen Eindruck davon vermittelt, wie die Welt ist, und nicht, wie sie sein sollte, wer soll dann die normativen Entscheidungen treffen, die mit der Entwicklung und dem Einsatz von KI verbunden sind – und wie?
Aufbau des EU-Konzepts
Die EU-Staaten haben sich beeilt, die Chancen der KI zu nutzen und - nicht immer mit demselben Enthusiasmus - ihre Risiken durch die Verabschiedung von KI-Strategien zu mindern (z. B. China 2017, EU 2018, USA 2019). Die europäische Strategie zielt darauf ab, die Verbreitung und Erforschung von KI voranzutreiben, die damit verbundenen sozioökonomischen Herausforderungen zu bewältigen und einen angemessenen ethischen und rechtlichen Rahmen zu gewährleisten.
Derartige Regulierungsbestrebungen stießen bereits bei der bloßen Definition von KI auf grundlegende Schwierigkeiten. Dies war der erste Tagesordnungspunkt der High-Level Expert Group für KI (HLEG) der Europäischen Kommission, die mit der Ausarbeitung ethischer Leitlinien und politischer Empfehlungen für KI beauftragt war.
Die HLEG diskutierte ausgiebig über den normativen Rahmen, der die KI-Regulierung leiten sollte, und argumentierte überzeugend, dass dieser auf dem Schutz der Grundrechte, der Demokratie und der Rechtsstaatlichkeit beruhen sollte. Die Diskussionsthemen erstreckten sich auch auf die Abhängigkeit der KI-Risiken vom Kontext und von der Art der Anwendung (man denke nur an den Einsatz von KI für medizinische Behandlungen oder für Liedempfehlungen) und auf die Bedeutung des Unterschieds zwischen traditioneller regelbasierter KI mit zuvor kodifizierten Regeln und datengesteuerter KI, die selbst Regeln aus Daten ableitet.
Die HLEG betonte zwar, dass jede Nutzung von Technologie vertrauenswürdig sein sollte, argumentierte aber auch, warum KI einen besonderen Regulierungsansatz verdienen könnte - unter anderem aufgrund eines Mangels an Transparenz und Rechenschaftspflicht, der durch die bestehenden Vorschriften nicht angemessen angegangen wird.
In ihren Leitlinien definierte die HLEG daher "vertrauenswürdige KI" als KI, die rechtmäßig, ethisch vertretbar und robust ist. Um Recht und Ethik miteinander zu verknüpfen, wurden die ethischen Grundsätze der Leitlinien von den Grundrechten abgeleitet und in sieben Schlüsselanforderungen konkretisiert, die Entwickler:innen und Anwender:innen von KI-Systemen erfüllen sollten.
Diese Anforderungen sind nicht einfach nur abzuhaken, sondern müssen bereits in der Entwurfsphase berücksichtigt werden, und zwar mithilfe einer Bewertungsliste, in der jede Anforderung durch spezifische Fragen operationalisiert wird. Was die politischen Vorschläge angeht, so empfiehlt die HLEG einen risikobasierten Ansatz für die Regulierung von KI und die Einführung neuer Gesetze, um die Verantwortlichkeit für die negativen Auswirkungen von KI sicherzustellen.
Geltungsbereich des Gesetzes
Die Europäische Kommission war bereit, diese Anregung aufzugreifen. Im April 2021 schlug sie den KI-Gesetzesentwurf vor, der darauf abzielt, Rechtslücken in bestehenden Rechtsvorschriften wie der Datenschutz-Grundverordnung und Verbraucherschutzgesetzen zu schließen, anstatt ein rechtliches Vakuum zu füllen. In Anlehnung an das Weißbuch über KI aus dem Jahr 2020 soll die vorgeschlagene Verordnung ein "Ökosystem der Exzellenz und des Vertrauens" in Europa schaffen, Grundrechte schützen und Handelshemmnisse beseitigen.
Mit einem breiten geografischen Geltungsbereich soll sie für alle Anbieter:innen von KI-Systemen gelten, die Auswirkungen innerhalb der Union haben. Während verschiedene KI-Anwendungsbereiche ins Visier genommen werden, sind Systeme, die ausschließlich für militärische Zwecke entwickelt oder genutzt werden, ausgeschlossen, was angesichts der damit verbundenen erheblichen Risiken auf Kritik gestoßen ist.
Bei der Definition von KI hat sich die Kommission an der von der HLEG und der OECD vorgeschlagenen Definition orientiert. Darin wird KI weit gefasst und umfasst nicht nur KI-Systeme, die auf Ansätzen des maschinellen Lernens basieren, sondern auch solche, die auf logik- und wissensbasierten sowie statistischen Ansätzen beruhen und "Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen, die die Umgebung, mit der sie interagieren, beeinflussen" für vom Menschen gesetzte Ziele produzieren.
Da eine weit gefasste KI-Definition auch ein breites Spektrum von KI-Anwendungen nach sich zieht, die dem Gesetz unterliegen, zeichnet sich bei den laufenden Verhandlungen über das Gesetz ein Definitionsstreit ab.
Regulierung nach Risiko
Das Gesetz verfolgt einen risikobasierten Ansatz und führt vier Kategorien von Risiken ein. Erstens sind KI-Systeme mit minimalen oder gar keinen Risiken - die laut der Kommission "die große Mehrheit" aller KI-Systeme ausmachen würden - ohne Einschränkungen zugelassen (obwohl freiwillige Verhaltenskodizes gefördert werden).
Zweitens müssen Nutzer:innen von Emotionserkennungs- und biometrischen Kategorisierungssystemen sowie Anbieter:innen von KI-Systemen mit einem Täuschungsrisiko (wie Deepfakes und Chatbots) Transparenzmaßnahmen umsetzen. Wichtig ist, dass diese Transparenzmaßnahmen als Verpflichtungen und nicht als Recht auf Informationen formuliert sind - ein Beispiel für das bemerkenswerte Fehlen von Rechten für Einzelpersonen in dem Gesetz.
Die dritte und wohl wichtigste Kategorie von KI-Systemen mit hohem Risiko umfasst (1) KI-Systeme, die als Sicherheitskomponente von Produkten verwendet werden sollen, die einer Ex-ante-Konformitätsbewertung durch Dritte unterliegen, und (2) eine ausgewählte Liste von "anderen eigenständigen KI-Systemen, die hauptsächlich Auswirkungen auf die Grundrechte haben", die in einem Anhang aufgeführt sind.
Nach derzeitigem Stand umfasst diese Kategorie den Einsatz von KI-Anwendungen beispielsweise beim Betrieb kritischer Infrastrukturen, bei gerichtlichen Entscheidungen, bei der Bewertung von Asylanträgen, bei der Beurteilung der Kreditwürdigkeit von Personen, bei Risikobewertungen durch die Strafverfolgungsbehörden, bei der Bewertung von Prüfungen zur Bestimmung des Zugangs zu Bildung und zu Einstellungszwecken.
Diese Hochrisikoanwendungen müssen bestimmte Anforderungen erfüllen, die sich an den sieben von der HLEG formulierten Schlüsselanforderungen für vertrauenswürdige KI orientieren (z. B. Transparenz, menschliche Kontrolle und Data Governance), und einer Ex-ante-Konformitätsbewertung unterzogen werden.
Diese Verpflichtung kann zwar den Schutz vor nachteiligen Auswirkungen verbessern, doch kann man diesen listenbasierten Ansatz, der die Gefahr einer Über- oder Untererfassung birgt, durchaus in Frage stellen. Überdies ist diese Liste in ihrer derzeitigen Form eindeutig zu kurz (beispielsweise fehlen Anwendungen zur biometrischen Kategorisierung und Emotionserkennung).
Auch die Anforderungen, die diese Hochrisikosysteme erfüllen müssen, gehen nicht weit genug. Zu eng erscheinen die Verpflichtungen für den Anbieter, das Gesamtrestrisiko des Systems als akzeptabel zu bewerten (ein klares Fehlen eines unabhängigen Forums für die Rechenschaftspflicht), und dass wesentliche Informationen über das System nur den Nutzern und nicht den betroffenen Personen zur Verfügung gestellt werden müssen.
Praktisch unerfüllbar erscheint die Verpflichtung, nur fehlerfreie und vollständige Datensätze zu verwenden. Weiterhin wird davon ausgegangen, dass die Anbieter die Anforderungen erfüllen, wenn sie harmonisierten Normen entsprechen, was im Wesentlichen darauf hinausläuft, dass die normativen Anforderungen – die politischer Natur sind und die Grundrechte betreffen – an Normungsgremien ausgelagert werden, die alles andere als demokratisch sind.
KI-Systeme der vierten und letzten Kategorie, unannehmbare Risiken, sind verboten. Diese Kategorie ist - verständlicherweise - sehr eng gefasst, unterliegt aber - weniger verständlich - im Gegensatz zur Kategorie mit hohem Risiko keiner regelmäßigen Überprüfung. Was das Verbot von "manipulativen" KI-Systemen betrifft, so ist die Voraussetzung, dass sie physischen oder psychischen Schaden verursachen müssen, möglicherweise schwer zu beweisen.
Noch wichtiger ist, dass das Verbot der biometrischen "Echtzeit"-Identifizierung durch Strafverfolgungsbehörden an öffentlichen Orten (z. B. Gesichtserkennungstechnologie) mehrere Ausnahmen zulässt, sodass die Aufnahme in eine Liste von Verboten fast irreführend ist.
Während die Ausnahmen auf den ersten Blick vernünftig erscheinen (z. B. die Suche nach vermissten Kindern oder "Verdächtigen einer Straftat"), öffnen sie die Büchse der Pandora, indem sie im Wesentlichen den Aufbau und die Umsetzung einer Massenüberwachungsinfrastruktur an öffentlichen Orten ermöglichen, und zwar – angesichts der Pfadabhängigkeit – auf irreversible Weise. Deswegen fordern zahlreiche Organisationen der Zivilgesellschaft ein vollständiges Verbot von Gesichtserkennungstechnologien.
Debatte über die neue Verordnung (und darüber hinaus)
Zu den weiteren Schwächen des Vorschlags gehört seine vollständig nationalisierte Durchsetzung, die, wenn man sich das Beispiel der Datenschutz-Grundverordnung ansieht, zu einem ungleichen Schutz der EU-Bürger führen kann, der stark von den Ressourcen und Interessen der einzelnen Mitgliedstaaten abhängt. Dem Vorschlag fehlen auch ein Beschwerdemechanismus für Verbraucher und ein Arbeitnehmerschutz.
Weiterhin sind Diskussionen über die delegierten Befugnisse der Kommission (insbesondere zur Aktualisierung der Anhänge) sowie über den Anwendungsbereich der Verordnung (z. B. Einschränkung der Definition von KI oder Einführung von Ausnahmen für die nationale Sicherheit und die Strafverfolgung) zu erwarten, die den durch das Gesetz gewährten Schutz weiter schwächen können.
Doch trotz dieser Kritikpunkte zeigt die Verordnung einen bedeutenden Fortschritt im Ansatz der EU, die Auswirkungen von KI auf die Grundrechte anzuerkennen und diese Risiken durch eine Harmonisierung der Rechtsvorschriften abzumildern.
Der anfängliche Wunsch der KI-Entwickler:innen nach einer einheitlichen Liste bestehender rechtlicher Anforderungen, die auf KI-Systeme anwendbar sind (da viele verschiedene bestehende Vorschriften auf die Anwendung anwendbar sein können), zeigt die Komplexität der Regulierungslandschaft, mit der alle Beteiligten konfrontiert sind.
Das KI-Gesetz stellt keine Kodifizierung aller auf KI anwendbaren Rechtsvorschriften dar. Vielmehr soll es Antworten darauf geben, wie eine Reihe zusätzlicher horizontaler Vorschriften auf KI-Systeme angewendet werden kann, um die Gesundheit, die Sicherheit und die Grundrechte des Einzelnen zu schützen. Dieser angestrebte grundrechtsbasierte Ansatz hält jedoch nicht, was er verspricht.
Die oben erörterten Mängel - wie die unzureichende Risikokategorisierung bestimmter KI-Systeme, das Fehlen wesentlicher Mechanismen der Rechenschaftspflicht, das Fehlen eines Beschwerdemechanismus für Betroffene und das Vertrauen auf die nationale Durchsetzung selbst bei sehr großen transnationalen Unternehmen - bedrohen gemeinsam die Wirksamkeit des Gesetzes bei der Minderung der Risiken von KI für die Grundrechte.
Darüber hinaus berücksichtigt das Gesetz auch nicht die gesellschaftlichen Schäden, die über die Auswirkungen auf die Grundrechte des Einzelnen hinausgehen. Wichtig ist, dass KI-Systeme auch gesellschaftliche Interessen wie die Rechtsstaatlichkeit und den demokratischen Prozess beeinträchtigen können. Der Gesetzgeber sollte daher sicherstellen, dass alle in Artikel 2 EUV aufgeführten EU-Werte vor den nachteiligen Auswirkungen von KI geschützt werden, indem er etwa ausdrücklich darauf Bezug nimmt.
Ferner sollte das KI-Gesetz nicht nur den Anbietern Verpflichtungen auferlegen, sondern auch die Rolle der Bürger:innen anerkennen und sicherstellen, dass sie ein Recht auf Rechtsmittel haben, um den Rechenschaftsmechanismus des Gesetzes zu stärken. Indem sowohl öffentliche als auch private Durchsetzungsmechanismen ermöglicht werden, haben die Werte der EU eine bessere Chance, vor den Risiken der KI geschützt zu werden.
Mit dem vorgeschlagenen KI-Gesetz hat sich die EU als Vorreiterin bei der Regulierung von KI hervorgetan. Indem sie sich auf ihren First-Mover-Vorteil verlässt, kann sie de facto globale Standards setzen (der Brüsseler Effekt), wie es mit der Datenschutz-Grundverordnung erreicht wurde. Frühzeitig dabei zu sein, bedeutet jedoch nicht unbedingt, es richtigzumachen.
Es bleibt abzuwarten, ob das Gesetz während der laufenden Verhandlungen im Rat und im Parlament noch verbessert werden kann und ob ein angemessenes regulatorisches Gleichgewicht zwischen den verschiedenen Rechten und Interessen, die auf dem Spiel stehen, gefunden werden kann.
Durch die Stärkung des KI-Gesetzes und die Verschärfung seiner rechtlichen Garantien können hoffentlich bald auch andere Ethiker:innen und Jurist:innen dafür sorgen, dass das Gesetz in der Praxis wirksam zum Schutz der EU-Werte im Zeitalter der KI beiträgt.
Podcast: EU-Regulierungen für Künstliche Intelligenz
Im KI-Podcast DEEP MINDS spricht die Redaktion von THE DECODER mit Charlotte Siegmann über die KI-Regulierungsstrategien der EU. Charlotte Siegmann hat Philosophie, Politik, Wirtschaft und ein bisschen Mathematik studiert und war Praktikantin im Europäischen Parlament bei Vizepräsidentin Evelyne Gebhardt. Sie arbeitete zudem beim Future of Life Institute zur KI-Politik der EU und dem KI-Weißpapier.
