Der EU AI Act soll künstliche Intelligenz in Europa regeln und könnte auch die Gesetzgebung außerhalb der EU beeinflussen. Hier die wichtigsten Punkte.
Die Europäische Kommission hat im April 2021[1] einen ersten Entwurf für eine Verordnung zur Festlegung harmonisierender Vorschriften für künstliche Intelligenz (nachfolgend: KI-VO-E) veröffentlicht[2]. Ziel dieser Verordnung ist es einen einheitlichen Rechtsrahmen für vertrauenswürdige KI zu schaffen und gleichzeitig Anreize für Forschung und Entwicklung in Europa zu setzen.
Der Vorschlag folgt einem risikobasierten Ansatz und soll für sämtliche Akteure, die ein KI-System in der EU entwickeln oder betreiben, gelten. Während KI-Systeme mit unannehmbarem Risiko von vornherein verboten werden, müssen Hochrisiko-KI-Systeme zwingende Anforderungen erfüllen, bevor sie auf den Markt kommen können. Für KI-Systeme mit einer geringen Risikobewertung gelten lediglich besondere Transparenzvorschriften, während alle Übrigen als solche mit minimalem Risiko gelten und keinen besonderen Regelungen unterliegen.
Regelungsgegenstand: KI-Systeme
Was unter dem Begriff der KI-Systeme zu verstehen ist, regelt Art. 3 Nr. 1 KI-VO-E. Ein KI-Systeme ist danach „Software, die mit einer oder mehr der in Anhang I aufgeführten Techniken und Konzepten entwickelt worden ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren“.
Die in Anhang I geregelten Konzepten und Techniken umfassen derzeit: Konzepte des maschinellen Lernens oder tiefen Lernens - Deep Learning (lit.a); Logik- und wissensgestützte Konzepte, einschließlich Wissensrepräsentation, induktiver (logischer) Programmierung, Inferenz- und Deduktionsmaschinen, Schlussfolgerungs- und Expertensysteme (lit. b); sowie Statistische Ansätze, Bayessche Schätz-, Such- und Optimierungsmethoden (lit. c).
Adressaten der Verordnung
Die Vorschriften richten sich in persönlicher Hinsicht an sämtliche Akteure, die Anbieter oder Nutzer im Sinne dieser Verordnung sind.
Anbieter ist nach Art. 3 Nr. 2 KI-VO-E jede natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System entwickelt oder entwickeln lässt, um es unter eigenen Namen oder eigener Marke in Verkehr zu bringen oder in Betrieb zu nehmen.
Nutzer ist nach Art. 3 Nr. 4 KI-VO-E jede natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, außer in persönlicher oder nicht beruflicher Verwendung.
In räumlicher Hinsicht folgt die Verordnung dem sog. „Marktortprinzip“. Nach Art. 2 I gilt die Verordnung für Anbieter, die KI-Systeme in der Union in Verkehr bringen oder in Betrieb nehmen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen sind (lit. a), sowie für Nutzer, die sich in der Union befinden (lit. b). Auch betroffen sind Anbieter und Nutzer von KI-Systemen, die in einem Drittland niedergelassen oder ansässig sind, sofern das vom System hervorgebrachte Ergebnis („output“) in der Union verwendet wird.
Mit steigender Cloud-Nutzung lässt sich der Standort eines KI-Systems immer leichter in ein Drittland verlagern, weshalb lit. c von besonderer praktischer Relevanz sein dürfte. Was alles von „Ergebnis“ umfasst ist, ist derzeit noch unklar.
Risikobasierter Ansatz
Der Verordnungsentwurf greift den risikobasierten Ansatz des Weissbuchs zur künstliche Intelligenz[3] auf und teilt KI-Systeme in vier Kategorien ein. Die Einstufung des Risikos richtet sich neben der Funktion der KI auch nach deren Zweck und den Umständen ihrer Anwendung.
-
Unannehmbares Risiko: Verbot bestimmter KI-Anwendungen
Bestimmte Anwendungen werden nach Art. 5 KI-VO-E von vornherein verboten, da sie nach dem Verständnis der Kommission ein unannehmbares Risiko für die Grundrechte und Werte der Union darstellen. Sie lassen sich grundsätzlich in drei Gruppen einteilen:
KI-Systeme der Verhaltensmanipulation, Art. 5 I a), b) KI-VO-E:
Die erste Gruppe umfasst KI-Systeme, die unterschwellige Techniken außerhalb des Bewusstseins einer Person einsetzen oder Schwächen einer Person aufgrund ihres Alters oder körperlichen oder geistigen Behinderung ausnutzen, um das Verhalten dieser Personen in einer Weise wesentlich zu beeinflussen, die geeignet ist, dieser Person oder anderen Personen körperlichen oder psychischen Schaden zuzufügen.
Eine nennenswerte Relativierung stellt die vorausgesetzte Absicht dar („um … wesentlich zu beeinflussen ...“). Wie sich dies in der Praxis gestaltet, bleibt abzuwarten, ausgehend vom derzeitigen Wortlaut, wirkt die Norm angesichts des verfolgten Zwecks, die Autonomie der Nutzer zu schützen, etwas eng geraten.
KI-Systeme des sog. „Social Scoring“, Art. 5 I c) KI-VO-E:
Eine weitere Gruppe betrifft KI-Systeme, die von öffentlichen Behörden oder in deren Auftrag zur Bewertung und Einstufung des Sozialverhaltens einer Person eingesetzt werden (sog. Social scoring), sofern dies zu einer Schlechterstellung oder Benachteiligung in sozialen Zusammenhängen führt, die in keinem Zusammenhang zu den Umständen steht, unter denen die Daten erzeugt oder erfasst wurden oder in einer Weise, die im Hinblick auf ihr soziales Verhalten oder dessen Tragweite ungerechtfertigt oder unverhältnismäßig ist.
Es sei zu erwähnen, dass sich das Verbot zum jetzigen Zeitpunkt nur an öffentliche bzw. staatliche Stellen richtet, nicht hingegen an private Betreiber.
Biometrische-Echtzeit-Fernidentifizierung, Art. 5 I d) KI-VO-E:
Ein großes Anliegen der Kommission war auch die Regulierung von KI-Systeme zur biometrischen Fernidentifikation in Echtzeit zum Zwecke der Strafverfolgung in öffentlich zugänglichen Räumen. Hierfür ist indes kein generelles Verbot vorgesehen, da zum einen Ausnahmen für bestimmte Verwendungszwecke geplant sind, insbesondere. bei der Suche nach Opfern von Straftaten oder vermissten Kindern, Gefahrenabwehr für Leib und Leben sowie Terroranschlägen. Zum anderen enthält Absatz 4 eine Öffnungsklausel für Mitgliedsstaaten, sich unter bestimmten Voraussetzungen für die Zulässigkeit dieser Systeme zu entscheiden.
-
Hohes Risiko: Hochrisiko-KI-Systeme
Kernstück der Verordnung sind die Anforderungen an Hochrisiko-KI-Systeme in den Art. 8-51 KI-VO-E. Was ein KI-System als hochriskant qualifiziert regelt Art. 6. Dafür müssen grundsätzlich zwei Bedingungen erfüllt sein:
- Das KI-System soll als Sicherheitskomponente in eins den Vorschriften aus Anhang II unterliegenden Produkten verwendet werden oder ist selbst ein solches Produkt. Hierbei handelt es sich in erster Linie um Produktsicherheitsvorschriften, unter anderem die Maschinenrichtlinie, die Richtlinie über Sicherheit von Spielzeug oder die Verordnung über Medizinprodukte.
- Weiterhin muss das KI-System selbst oder das Produkt, dessen Sicherheitskomponente das KI-System ist, einer Konformitätsbewertung durch Dritte gemäß den Vorschriften aus Anhang II unterliegen.
Unabhängig davon werden KI-Systeme, die in einem in Anhang III aufgeführten Bereich eingesetzte werden sollen, generell als Hochrisiko-KI-System eingestuft. Im Wesentlichen geht es dort um den Einsatz in sicherheitsrelevanten Bereichen oder ähnlich grundrechtssensiblen Anwendungsfelder. Hierzu gehört beispielsweise die Verwendung zur Biometrische Identifizierung und Kategorisierung von natürlichen Personen (Nr. 1); der Einsatz in allgemeiner- oder beruflichen Bildung (Nr. 3); der Zugang zu privaten und öffentlichen Dienstleistungen (Nr. 5) sowie Zwecke der Strafverfolgung (Nr. 6) und Rechtspflege (Nr. 8).
Darüber hinaus wird die Kommission ermächtigt, die Liste aus Anhang III gem. Art. 7 KI-VO-E zu ergänzen.
Anforderungen an Hochrisiko-KI-Systeme
Die Anforderungen an Hochrisiko-KI-Systeme wurden Großteils aus den Empfehlungen der „High Level Expert Group on AI“ und deren „Assessment List for Trustworthy Artificial Intelligence“[4] entwickelt, wobei Grundsätze wie Risiko- und Qualitätsmanagement oder Transparenzpflichten bereits aus anderen Regelungen zur Produktsicherheit bekannt sind.
Risikomanagementsysteme, Art. 9 KI-VO-E:
Erste grundlegende Voraussetzung ist ein zu dokumentierendes Risikomanagementsystem mit konkreten Maßnahmen zur Risikobewältigung, die dem aktuellen Stand der Technik entsprechen müssen und das Rest- und Gesamtrisiko des KI-Systems so gering wie möglich zu halten sollen.
Daten-Governance, Art. 10 KI-VO-E:
Hochrisiko-Systeme dürfen nur mit solchen Daten trainiert und betrieben werden, die besondere Anforderungen an die Datenqualität erfüllen. Man könnte von einer vorgelagerten Daten-Compliance sprechen, die während der gesamten Entwicklungsphase erfüllt sein muss. Der KI zugrundeliegenden Trainings-, Validierungs- und Testdatensätze müssen repräsentativ, fehlerfrei und vollständig sein – was insbesondere bei großen Datensätzen schwierig werden könnte.
Technische Dokumentation, Art. 11KI-VO-E:
Schon bevor ein Hochrisiko-KI-System in Verkehr gebracht oder in Betrieb genommen wird, muss gem. Art. 11 eine technische Dokumentation des Systems erstellt werden. Die Dokumentation muss so gestaltet sein, dass aus ihr der Nachweis hervorgeht, dass das KI-System die entsprechenden Anforderungen erfüllt. Hierzu gehören insbesondere die Mindestanforderungen aus Anhangs IV.
Die technische Dokumentation dient in erster Linie den Zertifizierungsverfahren und etwaigen Kontrollen der Marktüberwachungsbehörden.
Aufzeichnungspflicht, Art. 12 KI-VO-E:
Nach Art. 12 müssen KI-Systeme mit hohem Risiko so entwickelt und designt sein, dass eine Dokumentation sowie Protokollierung der Vorgänge des KI-Systems während des Betriebs möglich ist (sog. „logs“). Die Speicherung der Verarbeitungsvorgänge muss dazu gleichzeitig den Anforderungen der DSGVO genügen.
Transparenzgebot, Art. 13 KI-VO-E:
Konzeption und Entwicklung eines Hochrisiko-Systems müssen so gestaltet sein, dass der Betrieb des Systems hinreichend transparent und dem Nutzer eine angemessene Nutzung sowie Interpretation der Ergebnisse möglich ist. Was genau unter „hinreichend transparent“ zu verstehen ist, ist derzeit unklar. Für einige KI-Systeme könnte diese Vorschrift problematisch werden, da viele KI-Systeme derzeit nicht in der Lage sind, Entscheidungen nachvollziehbar zu begründen.
Menschliche Aufsicht, Art. 14 KI-VO-E:
Nach Art. 14 I müssen hochriskante KI-Systeme so gestaltet sein, dass sie durch Menschen beaufsichtigt werden können, solange die KI in Gebrauch ist.
Konkretisiert wird dies in Absatz 4, hier heißt es: „Fähigkeiten und Grenzen des Hochrisiko-KI-Systems vollständig zu verstehen und seinen Betrieb ordnungsgemäß zu überwachen“ (lit. a). Außerdem muss es die Möglichkeit geben in den Betrieb eines Hochrisiko-KI-Systems einzugreifen oder „den Systembetrieb mit einer „Stopptaste“ oder einem ähnlichen Verfahren zu unterbrechen“ (lit. e).
Genauigkeit, Robustheit und Cybersicherheit, Art 15 KI-VO-E:
Schließlich werden Mindestanforderungen an Genauigkeit, Robustheit und Cybersicherheit gestellt. Die KI-Systeme müssen gegenüber Fehlern, vor Zugriff durch unbefugte Dritte und Datenmanipulation geschützt und mit Lösungen wie Fail-Safe- oder Backup-Plänen gesichert werden.
Verpflichtungen für Anbieter und Nutzer
Die Überwachung dieser Voraussetzungen obliegt grundsätzlich den Anbietern der Systeme (Art. 16 a) KI-VO-E).
Sie müssen insbesondere nach Art. 19 I 1 KI-VO-E das KI-System dem Konformitätsbewertungsverfahren nach Art. 43 KI-VO-E unterziehen. Die Verordnung sieht je nach Art des KI-Systems verschiedene Verfahren zur Konformitätsbewertung vor: Eine interne Kontrolle durch den Anbieter selbst nach Anhang VI oder die Kontrolle durch benannte Stellen nach Anhang VII - Für den Großteil der KI-Systeme mit hohem Risiko sieht der KI-VO-E das Verfahren der internen Kontrolle vor.
Nach außen muss diese Konformitätsbewertung durch eine CE-Kennzeichnung und eine Konformitätserklärung kenntlich gemacht werden (Art. 19 I, 48, 49 KI-VO-E). Die Anbieter sind darüber hinaus dazu verpflichtet ein Qualitätsmanagementsystem nach Art. 17 KI-VO-E einzurichten und Abhilfemaßnahmen zu schaffen, für den Fall, dass das KI-System nicht mehr den Anforderungen entspricht (Art. 21 KI-VO-E).
Nutzer sind zur Verwendung des Systems entsprechend der von den Anbietern beizufügenden Gebrauchsanweisung verpflichtet (Art. 29 I KI-VO-E) und müssen, soweit sie die Kontrolle über die Eingabewerte haben, sicherstellen, dass die verwendeten Daten dem vorgesehenen Verwendungszweck entsprechen (Art. 29 III KI-VOE). Darüber hinaus werden sie dazu verpflichtet den Betrieb des KI-Systems zu überwachen (Art. 29 VI KI-VO-E).
Anbieter und Nutzer treffen beidseitige Melde- und Anzeigepflichten. Sollte das KI-System zu einem Risiko iSv. Art. 65 I KI-VO-E führen, müssen Anbieter dies den zuständigen Behörden melden (Art. 22 KI-VO-E). Zudem sind schwere Vorfälle und Fehlfunktionen zu melden, sofern diese zu einer Verletzung unionsrechtlich geschützter Grundrechte führen (Art. 62 I 1 KI-VOE). In diesen Fällen bestehen die Pflichten ebenfalls für Nutzer gegenüber dem Anbieter.
Schwere Vorfälle sind nach Art. 3 Nr. 44 KI-VO-E Ereignisse, die geeignet sind, direkt oder indirekt zum Tod oder schweren Schäden für Gesundheit, Eigentum, Umwelt oder zur Störung des Betriebs kritischer Infrastrukturen zu führen.
-
Geringes Risiko: Besondere Kennzeichnungspflichten
Für bestimmte KI-Systeme, die mit Personen interagieren oder scheinbar authentisch Inhalte generieren, gelten die besondere Kennzeichnungspflichten. Sie gelten unabhängig davon, ob ein KI-System als Hochrisiko-System eingestuft wurde - Ausnahmen gelten lediglich für die Strafverfolgung.
Nach Art. 52 I KI-VO-E sollen Nutzer darüber informiert werden, wenn sie mit einem KI-System interagieren, es sei denn, dies ergibt sich bereits aus den Umständen der Nutzung.
Was alles unter „Interaktion“ fällt, ist nicht näher beschrieben, ausgehend von einem durchschnittlichen Sprachverständnis umfasst dies ein wechselseitiges, aufeinander bezogenes Handeln.[5] Allerdings wird in vielen Fällen der Ausnahmetatbestand der Erkennbarkeit nach Außen miterfüllt sein. Die Kennzeichnungspflicht wird folglich in erster Linie für Kommunikation gelten, bei der unklar ist, ob das Gegenüber ein Mensch oder eine Maschine ist (Telefon oder Text).
Gleiches gilt nach Art. 52 II KI-VO-E für die Verwendung von Systemen zur Erkennung von Emotionen oder einem System zur biometrischen Kategorisierung.
Werden Bild-, Audio- oder Videoinhalte mit einem KI-System erzeugt oder manipuliert, die echten Personen, Gegenständen, Orten oder anderen Gebilden und Ereignissen ähnlich sind und einer anderen Person authentisch erscheinen würden (synthetische Medien oder Deep Fakes), muss offengelegt werden, dass der Inhalt künstlich erzeugt oder manipuliert wurde, Art. 52 III KI-VO-E. Für Meinungs- und Kunstfreiheit sollen diesbezüglich bestimmte Ausnahmen gelten.
-
Minimales Risiko: Code of Conduct
Alle übrigen KI-Systemen werden mit einem minimalen Risiko eingestuft. Für sie gelten keine gesonderten Vorschriften. Den Anbietern wird hingegen die Möglichkeit geboten, freiwillige „Verhaltenskodizes“ (codes of conduct) aufzustellen (Art. 69 KI-VO-E). Diese können sich an den Vorgaben der Hochrisiko-Systeme orientieren, aber auch Ziele wie Barrierefreiheit oder Nachhaltigkeit verfolgen.
Die große Mehrheit der KI-System, die derzeit in der EU verwendet werden, sind nach Ansicht der Kommission solche mit minimalem Risiko[6], weshalb es in der Verordnung heißt, dass die Aufstellung solcher Verhaltenskodizes „gefördert“ werden soll. Wie diese „Förderung“ aussieht, ist dem Entwurf (zum jetzigen Zeitpunkt) nicht zu entnehmen.
Innovationsförderung durch „Regulatory Sandboxes“
Um den Spagat zwischen Produktsicherheit und -Forschung zu schaffen, sehen Art. 53, 54 KI-VO-E die Errichtung sog. „Regulatory Sandboxes“, also kontrollierte Umgebungen für die Entwicklung und Testung von KI-Systemen vor - die genaueren Modalitäten will die Kommission mittels Durchführungsakt festlegen. Einrichtung und Organisation soll durch die Behörden der Mitgliedstaaten und den Europäischen Datenschutzbeauftragten erfolgen.
Hinsichtlich der Zugangsvoraussetzungen wird nach Art des Teilnehmers unterschieden, so sind für Kleinanbieter und Kleinnutzer erleichterte Zugangsmöglichkeiten vorgesehen (Art. 55 KI-VO-E). Wichtig für die Nutzung dieser Trainingslabore ist, dass Teilnehmer für Schäden, die Dritte durch den Einsatz innerhalb des Experimentierfeldes erleiden, haftbar bleiben (Art. 53 IV KI-VOE).
Art. 54 KI-VO-E regelt sodann die Weiterverarbeitung von ursprünglich rechtmäßig erhobenen personenbezogenen Daten zu Zwecken der Entwicklung und Testung von KI-Systemen. Die Anforderungen sind vermutet hoch, so muss unter anderem ein erhebliches öffentliches Interesse an der konkreten Anwendung bestehen, die Daten zur Einhaltung der Verordnung müssen notwendig und nicht durch synthetische Daten ersetzbar sein und alle personenbezogenen Daten sollen nach Abschluss des Verfahrens gelöscht werden.
Fraglich ist, inwieweit sich Daten vollständig löschen lassen, wo eine Wiederherstellung aus trainierten Systemen grundsätzlich möglich ist.
Governance und Kontrollinstitutionen
Auf nationaler Ebene sollen die Mitgliedstaaten nach Art. 59 I KI-VO-E ihre eigenen Aufsichtsbehörden organisieren. Zusätzlich wird ein Europäischer-KI-Ausschuss (EKIA) aus den Aufsichtsbehörden der Mitgliedstaaten und dem Europäische Datenschutzbeauftragt eingerichtet (Art. 56 f. KI-VO-E), welcher vornehmlich beratende Tätigkeiten wahrnimmt und hierzu Empfehlungen und Stellungnahmen veröffentlicht.
Hinsichtlich der Marktüberwachung verweist Art. 63 I KI-VO-E auf die europäische Marktüberwachungsverordnung[7]. Die Marktüberwachungsbehörde, letztlich wohl identisch mit der Aufsichtsbehörde, ist unter anderem befugt, auf alle Trainings-, Validierungs- und Testdatensätze und gegebenenfalls auch auf den Quellcode des KI-Systems zuzugreifen und Testungen durchführen (Art. 64 V KI-VOE). Bei einem riskanten KI-System kann die Marktüberwachungsbehörde die Einhaltung der Anforderungen des KI-VO-E überprüfen. Ferner ist die Behörde ermächtigt, den Betreiber zu Maßnahmen zu verpflichten, die die Vereinbarkeit mit den Vorgaben der Verordnung wieder herstellen oder das System vom Markt entfernen (Art. 65 II UAbs.2 KI-VO-E).
Für Verstöße sieht die Verordnung auffallend hohe Bußgeldvorschriften vor. Ein Verstoß gegen Verordnungsvorschriften kann mit einem Bußgeld von bis zu 20.000.000 Euro oder 4 % des weltweiten Jahresumsatzes eines Unternehmens geahndet werden, Art. 71 IV KI-VO-E. Bei Verstößen gegen die verbotenen Anwendungen aus Art. 5 KI-VO-E oder die Vorschriften zur Datenqualität aus Art. 10 KI-VO-E beträgt das Bußgeld bis zu 30.000.000 Euro oder 6 % des weltweiten Jahresumsatzes, Art. 71 III KI-VO-E.
Schlussbemerkung
Am 14. Juni 2023 hat das Europäische Parlament seine finale Position zum „AI-Act“ veröffentlicht.[8] Neben dem Entwurf der Kommission und der Position des Rates der Europäischen Union[9] liegen nun alle Entwürfe vor, sodass es jetzt in die finale Verhandlungsphase geht.
Grundlegende Änderungen sind allerdings nicht zu erwarten, so sehen die Änderungsvorschläge im Allgemeinen Anpassungen für den Anwendungsbereich der Verordnung, eine erweiterte Liste der verbotenen KI-Anwendungen und kleinere Änderungen im Bereich der Hochrisiko-KI-Systeme vor. Auch soll „Generative AI“ ausdrücklich in die Verordnung aufgenommen werden und der Bußgeldkatalog nach unten korrigiert werden.
Angesichts der 2024 anstehenden Wahlen des EU-Parlaments ist von einer zügigen Beschlussfassung auszugehen - man liest von einer geplanten Einigung bis Ende des Jahres.
[1] Ein Europa für das digitale Zeitalter: Künstliche Intelligenz
[2] EUR-Lex - 52021PC0206 - EN - EUR-Lex (europa.eu)
[3] eur-lex.europa.eu/legal-content/DE/TXT/PDF/?uri=CELEX:52020DC0065
[4] AI HLEG - Assessment List for Trustworthy Artificial Intelligence (ALTAI) | Futurium (europa.eu)
[5] Interaktion ᐅ Rechtschreibung, Bedeutung, Definition, Herkunft | Duden
[6] https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX%3A52021PC0206
[7] EUR-Lex - 32019R1020 - EN - EUR-Lex (europa.eu)
[9] eur-lex.europa.eu/legal-content/DE/TXT/PDF/?uri=CONSIL:ST_15698_2022_INIT
