EU AI Act - Die KI-Verordnung der Europäischen Union

Der Artificial Intelligence Act (AI Act) der Europäischen Union markiert einen Wendepunkt in der Regulierung künstlicher Intelligenz und stellt die Rechtsordnung vor erhebliche Herausforderungen. Als weltweit erste umfassende Gesetzgebung ihrer Art zielt die Verordnung darauf ab, einen ausgewogenen Rechtsrahmen für die Entwicklung, das Inverkehrbringen und den Einsatz von KI-Systemen zu schaffen. Der AI Act, in Deutschland auch KI-Verordnung (KIVO), zeichnet sich durch einen risikobasierten Ansatz aus, der Anwendungen aus dem Bereich der künstlichen Intelligenz in verschiedene Risikokategorien einteilt und daran orientierte Anforderungen und Verpflichtungen festlegt. Diese Herangehensweise spiegelt das Bestreben des europäischen Gesetzgebers wider, Innovation zu fördern und gleichzeitig potenzielle Risiken für Grundrechte, Sicherheit und demokratische Werte zu minimieren. Für die zahlreichen Kritiker des Gesetzes stellt das neue Gesetz dagegen eine Überregulierung dar, welche die Zukunft der Entwicklung von KI in Europa erheblich beeinträchtigt, wenn nicht gar gefährdet. Nachfolgend stellen wir Ihnen die wichtigsten Details des neuen Gesetzes vor und analysieren, welche Anforderungen es an die Benutzer wie die Gestalter von künstlicher Intelligenz stellt. Die komplexe Entstehung des AI Acts: Herausforderungen und Kontroversen Bereits die Entstehung der Verordnung war von zahlreichen Herausforderungen und kontroversen Diskussionen geprägt, die die Komplexität der Regulierung dieser zukunftsweisenden Technologie verdeutlichen und zahlreiche Konflikte aufzeigen. Die Europäische Kommission legte im April 2021 den ersten Vorschlag für ein neues KI-Gesetz vor. Ziel war es, einen einheitlichen, verbindlichen Rechtsrahmen für einen vertrauenswürdigen Einsatz von künstlicher Intelligenz in der EU zu schaffen. Der Ansatz basierte auf einer risikobasierten Kategorisierung von KI-Systemen, wobei Anwendungen mit unannehmbaren Risiken verboten und solche mit hohen Risiken strengen Auflagen unterworfen werden sollten. Wahrscheinlich wäre das Gesetzgebungsverfahren ohne größeres Interesse verlaufen – hätte nicht im November 2022 ChatGPT das Licht einer daran sehr interessierten Öffentlichkeit erblickt. Ein Hauptstreitpunkt war von da an insbesondere die Frage, wie Grundlagenmodelle wie ChatGPT und Co. reguliert werden sollten. Deutschland, Frankreich und Italien plädierten für eine weniger strenge Regulierung und favorisierten stattdessen eine verpflichtende Selbstregulierung durch einen Verhaltenskodex. Kritiker argumentierten, dass Selbstregulierung bei großen Technologieunternehmen in der Vergangenheit ineffektiv war. Lange kontrovers diskutiert wurde auch die Frage, ob KI zur Gesichtserkennung grundsätzlich verboten werden sollte. Der endgültige Kompromiss sieht ein lückenhaftes Verbot biometrischer Echtzeitüberwachung vor, was insbesondere von Bürgerrechtlern als unzureichend kritisiert wird. Die potenziellen Auswirkungen des AI Acts auf Unternehmen, insbesondere auf kleine und mittlere Unternehmen (KMU), waren ein weiterer Diskussionspunkt. Hier wurden die potenziell hohen Compliance-Kosten, gerade für die Einführung und Nutzung von Hochsicherheits-KI, kritisiert. Darüber hinaus wurden auch vielfach Bedenken geäußert, dass der AI Act KI-Innovationen hemmen könnte und europäische Unternehmen im globalen Wettbewerb benachteiligt würden. Die Verabschiedung der final ausformulierten Neuregelung erfolgte dann unter höchstem Zeitdruck im Rahmen einer nächtlichen Sitzung. Der Rat der EU hat der KI-Verordnung am 21. Mai 2024 zugestimmt. Am 1. August ist die KI-VO in Kraft getreten, allerdings dauert es zwei Jahre, bis in einem Stufenprozess sämtliche Regelungen anzuwenden sind. AI-Act: Eine erste Übersicht Die neue Regelung ist komplex und reichlich unübersichtlich. Die Verordnung selbst umfasst nicht weniger als 113 Artikel, die den eigentlichen Inhalt des Gesetzes bilden. Diese werden von 180 Erwägungsgründen flankiert, in denen der Gesetzgeber seine Absichten bei der Formulierung des Gesetzes weiter erläutert. Damit nicht genug: Es gibt auch noch insgesamt 13 Anlagen, die weitere Details regeln. Der AI-Act ist ein Gesetz aus dem Bereich der Compliance. Umfasst werden zahlreiche Maßnahmen, die dazu beitragen, dass ein Unternehmen sich „regelkonform“ verhält. Um dieses Ziel zu erreichen, wurden KI-Systeme in unterschiedliche Risikogruppen eingestuft, z. B. in KI-Modelle mit einem unannehmbaren, hohen oder geringen Risiko für die Grundrechte und Werte der EU. Diese Kategorisierung bedingt ein komplexes Geflecht an Vorschriften und Verpflichtungen, die je nach Risikoklasse variieren und regulieren. Risiko wird dabei in Art. 3 definiert als „die Kombination aus der Wahrscheinlichkeit des Auftretens eines Schadens und der Schwere dieses Schadens“. Kern der inhaltlichen Regulierung sind die sogenannten Hochrisiko-KI-Systeme, denen nicht weniger als 43 Artikel gewidmet sind. Allein diese Menge an Regelungen gibt eine Idee, wie stark die Nutzung solcher Angebote künftig reguliert wird und welche Herausforderungen bei der Nutzung lauern. Dagegen werden die grundsätzlich verbotenen Systeme in nur einem einzigen Artikel abgehandelt. Ziel ist es, dass KI-Angebote nicht nur sicher und zuverlässig, sondern auch transparent und verantwortungsbewusst eingesetzt werden sollen. Um dieses Ziel zu erreichen, enthält das Gesetz etwa Anforderungen hinsichtlich der Transparenz der Verarbeitung und der Qualität von Daten ebenso wie Dokumentations- und Sicherheitspflichten. Zudem ist immer eine finale Aufsicht durch Menschen erforderlich. Der AI Act sieht Mechanismen zur kontinuierlichen Anpassung und Weiterentwicklung vor, etwa durch die Möglichkeit, den Anhang mit Hochrisiko-Anwendungen zu aktualisieren. Diese Flexibilität erhöht zwar die Zukunftsfähigkeit der Verordnung, stellt aber gleichzeitig eine Herausforderung für die langfristige Rechtsinterpretation dar. Und diese ist schon bei der jetzigen Fassung kompliziert genug. Denn die Verordnung muss im Kontext des bestehenden EU-Rechts, insbesondere des Datenschutzrechts und des Produktsicherheitsrechts, betrachtet werden. Denn diese sollen weiter unverändert gelten und wurden nicht an den AI-Act angepasst. Diese Verflechtung verschiedener Rechtsgebiete erhöht die Komplexität der juristischen Analyse wie auch die praktische Anwendung erheblich. So gilt für den Datenschutz die Aussage „Die DSGVO bleibt unberührt“. Dabei ist bereits jetzt offensichtlich, dass sich eine ganze Reihe von technischen Vorgaben von ChatGPT und Co. kaum mit den starren Regelungen der im Grundsatz auch schon fast 10 Jahre alten DSGVO verträgt. Als nur eins von vielen Beispielen sei hier der Umgang mit Halluzinationen der KI genannt. Sind davon Menschen betroffen, besteht hier ein Anspruch auf Löschung oder Korrektur, der technisch so gut wie gar nicht möglich ist. Leider hat der europäische Gesetzgeber hier nicht den Mut gehabt, insoweit für eine angepasste Rechtslage zu sorgen. Schließlich etabliert der AI Act ein vielschichtiges Governance-System mit nationalen Behörden, einem EU-weiten AI Office – dem Büro für Künstliche Intelligenz – und verschiedenen Beratungsgremien. Diese komplexe Struktur wirft Fragen zur praktischen Umsetzung und Durchsetzung der Verordnung auf. Was ist was? Wichtige Definitionen im AI-Act Das neue Gesetz enthält eine Reihe von Definitionen für wichtige Begriffe, die nicht immer selbsterklärend sind. Die wichtigsten sollen nachfolgend vorgestellt werden. Definition „Künstliche Intelligenz“ Von zentraler Bedeutung ist dabei zunächst die Erklärung des Begriffs der künstlichen Intelligenz als solcher. Ein "KI-System" ein maschinengestütztes System, das für einen in unterschiedlichem Grad autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können. Diese Definition lehnt sich an die international anerkannte KI-Definition der OECD an und hebt die Fähigkeit von KI-Systemen hervor, aus eingegebenen Daten Modelle oder Algorithmen abzuleiten. Ein zentrales Merkmal zur Abgrenzung von traditioneller Software ist die Fähigkeit von KI-Systemen, aus dem Input Schlussfolgerungen für den Output abzuleiten. Dies soll die Fähigkeit von KI-Systemen unterstreichen, über grundlegende Datenverarbeitungsvorgänge hinauszugehen und Lernen, Schlussfolgern oder Modellieren umzusetzen. Diese Definition im AI Act ist bewusst breit gefasst, um eine große Anzahl von Systemen unter die Regulierung fallen zu lassen. Allerdings schließt sie einfache herkömmliche Softwaresysteme oder Programmieransätze aus, die ausschließlich auf von natürlichen Personen festgelegten Regeln zur automatischen Ausführung von Vorgängen beruhen Wen betrifft der AI Act? Die KI-Verordnung der Europäischen Union richtet sich an verschiedene Gruppen, die mit der Entwicklung, dem Vertrieb und der Nutzung von KI-Systemen in der EU befasst sind. Die wichtigsten betroffenen Gruppen sind: Anbieter: Dies sind juristische Personen, Behörden oder andere Stellen, die KI-Systeme entwickeln oder entwickeln lassen, um sie in der EU in Verkehr zu bringen oder in Betrieb zu nehmen. Dies gilt unabhängig davon, ob der Anbieter seinen Sitz innerhalb oder außerhalb der EU hat. Betreiber: Eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI‑System in eigener Verantwortung verwendet. Betreiber ist nicht, wer das KI‑System im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet. Die Benennung ist etwas irreführend, da hier eigentlich der Nutzer der KI gemeint ist. Importeure: Diese sind in der EU ansässige Subjekte, die ein KI-System eines Anbieters aus einem Drittland in der EU auf den Markt bringen. Händler: Händler sind alle anderen Subjekte in der Lieferkette, die ein KI-System auf dem EU-Markt bereitstellen. Der AI Act gilt nicht für private Nutzungen von KI-Systemen oder für Systeme, die ausschließlich für militärische Zwecke entwickelt werden. Zudem schließt er Bereiche aus, die nicht in den Anwendungsbereich des EU-Rechts fallen, wie nationale Sicherheit. Dass ausgerechnet autonome Waffensysteme nicht unter die Regulierung von KI fallen, wirkt geradezu ironisch. Allerdings sollen die Zuständigkeiten von Mitgliedstaaten oder Regierungsbehörden in Bezug auf die nationale Sicherheit in keiner Weise beschnitten werden. Dementsprechend sind KI-Systeme, die ausschließlich militärischen oder verteidigungspolitischen Zwecken dienen, von der Regulierung ausgeschlossen. Gleiches gilt auch für Forschung und Innovation, Open-Source-Modelle sowie Systeme von Personen, die KI zu nichtgewerblichen Zwecken nutzen. Das Marktortprinzip: Wo gilt die EU-Regulierung? Das Marktortprinzip im AI Act ist ein zentraler Aspekt der Verordnung. Dies stellt sicher, dass die Regelungen des AI Acts auch für Unternehmen gelten, die ihren Sitz außerhalb der Europäischen Union haben. Dies gilt dann, wenn diese ihre KI-Systeme auf dem EU-Markt anbieten oder sie dort genutzt werden. Dieses Prinzip ähnelt dem aus der Datenschutzgrundverordnung (DSGVO) bekannten Ansatz und erweitert die Reichweite des AI Acts über die geografischen Grenzen der EU hinaus. Das Marktortprinzip bedeutet weiter, dass alle Anbieter von KI-Systemen, unabhängig von ihrem Standort, den Anforderungen des Gesetzes unterliegen, wenn ihre Systeme in der EU in Verkehr gebracht oder betrieben werden. Dies gilt auch für Nutzer von KI-Systemen innerhalb der EU. Somit sind von der Regulierung sowohl juristische Personen als auch natürliche Personen betroffen, die KI-Systeme innerhalb der EU verwenden oder bereitstellen. Durch diese Anforderungen soll sichergestellt werden, dass die hohen Standards und Sicherheitsanforderungen des AI Acts für alle relevanten Akteure gelten, die Einfluss auf den europäischen Markt haben – und zwar weltweit. Umfasst werden Anbieter, Importeure und Händler von KI-Systemen sowie deren Betreiber. Die Regelung zielt darauf ab, einheitliche Bedingungen zu schaffen und den Schutz von Verbrauchern und Nutzern innerhalb der EU zu gewährleisten, unabhängig davon, wo das Unternehmen ansässig ist. In der Theorie soll die Regelung also auch für die ChatGPTs dieser Welt gelten und insbesondere auch die amerikanischen und chinesischen Anbieter betreffen. Gerade diese Idee hat sich im Rahmen der DSGVO nicht immer als besonders durchsetzungsstark erwiesen und insbesondere amerikanische Anbieter nur mäßig beeindruckt. Im Worst-Case-Fall kann dies bedeuten, dass nichteuropäische KI-Unternehmen die Regulierung entweder weitgehend ignorieren, während die hiesigen Anbieter hart reguliert werden. Zudem ist bereits jetzt zu beobachten, dass bestimmte KI-Features in Europa gar nicht oder nur verspätet angeboten werden. Die Risikoklassen Zu den Kernregelungen des AI-Acts, welche absehbar in den nächsten Jahren den größten Einfluss entfalten werden, gehört die Einteilung von KI-Systemen und Modellen in die sogenannten Risikoklassen. Hier unterscheidet der AI-Act aufgrund seines risikobasierten Ansatzes zwischen den Modellen und Systemen je nach Risikograd. In der Folge werden also nicht alle Systeme und Modelle gleichbehandelt. Während manche Systeme grundsätzlich verboten werden, ist der Einsatz anderer möglich, steht dabei jedoch unter einem enormen Auflagendruck. Angebote mit nur geringer Risikobewertung sind dagegen kaum reguliert. Unterscheidung: System vs Modell System: Hierunter wird die betriebsbereite Software gemeint, die direkt vom Nutzer angewendet werden kann. Hierunter fallen zum Beispiel ChatGPT, Midjourney oder DeepL. Ein System kann die Funktionalitäten mehrerer Modelle zusammenfassen. Modell: Dies beschreibt die grundlegenge Architektur auf dem die Software eines KI-Systems aufsetzt. Ein bekanntes Beispiel für ein Modell ist GPT4, das die Architektur für ChatGPT bietet. Die erste Unterteilung von KI-Angeboten erfolgt schon anhand des konkreten Verwendungszwecks. So wird hier zwischen den herkömmlichen KI-Systemen und den KI-Modellen mit allgemeinem Verwendungszweck (General Purpose AI – kurz: GPAI) unterschieden. Unter den herkömmlichen KI-Systemen sind diejenigen zu verstehen, die einen bestimmten Zweck verfolgen, wie die Generierung von Bildern, die Beantwortung von Fragen oder die Verbesserung und Korrektur von Texten. Die GPAI-Modelle hingegen grenzen sich hiervon in der Form ab, als dass sie nicht nur einen spezifischen Anwendungszweck verfolgen, sondern als Modell in vielerlei Hinsicht eingesetzt werden können. KI-Modelle mit allgemeinem Verwendungszweck Da sämtliche KI-Systeme auf einem Modell beruhen, sind eben diese GPAI-Modelle mit diversen Auflagen belegt. Hierbei treffen besonders leistungsfähige Modelle noch einmal einige Pflichten mehr. Transparenzpflichten für GPAI-Modelle Für alle GPAI-Modelle mit allgemeinem Verwendungszweck, hierunter zählen beispielsweise GPT-4 von OpenAI, Google BERT und Claude 3 Opus von Anthropic, gelten die in Artikel 53 AI-Act festgelegten Transparenzpflichten. Hiernach haben die Anbieter des Modells eine technische Dokumentation des Modells zu erstellen, aus der das Training und Testverfahren hervorgeht. Diese Ausführungen sollen dem Büro für Künstliche Intelligenz sowie den nationalen Aufsichtsbehörden zur Verfügung gestellt werden. Weiterhin müssen diese Dokumentationen aktualisiert und Anbietern von KI-Systemen zur Verfügung gestellt werden, sofern diese beabsichtigen, das KI-Modell in ihr System zu integrieren (Art. 53 Abs. 1 lit. b). Dies soll die Anbieter des Systems dazu befähigen, ihren eigenen gesetzlichen Auflagen nach dem AI-Act nachkommen zu können. Weitere Anforderungen gelten für die Anbieter von KI-Modellen, welche in einem Drittland ihren Sitz haben, also in einem Land außerhalb der EU, welches kein dem AI-Act gleichwertiges Schutzniveau aufweist. Hierzu gehören insbesondere die USA, aber auch China. Diese müssen einen in der EU niedergelassenen Bevollmächtigten benennen, welcher gegenüber dem Büro für Künstliche Intelligenz als Ansprechpartner fungiert und dafür sorgt, dass die Pflichten für Anbieter von GPAI-Modellen eingehalten werden. Über den Artikel 54 AI-Act möchte die EU auf diesem Wege sicherstellen, dass die Regelungen für KI-Anbieter nicht umgangen werden können, nur weil diese ihren Sitz außerhalb der EU haben. Ähnlich wie bei der DSGVO erweitert die EU damit den Schutzbereich einer Verordnung über die Grenzen der EU hinaus. Pflichten für GPAI-Modelle mit systemischem Risiko Neben den Transparenzpflichten für alle GPAI-Modelle sieht der AI-Act noch weitere Pflichten für die Modelle vor, die ein systemisches Risiko bergen. Ob einem Modell ein solches Risiko innewohnt, entscheidet sich gemäß Artikel 51 AI-Act wiederum nicht nach der konkreten Anwendung, sondern nach der Leistung und der Reichweite des Modells. Die Knüpfung gesetzlicher Vorschriften an bestimmte technische Voraussetzungen stellt im Bereich des europäischen IT-Rechts ein absolutes Novum dar und ist Gegenstand von heftiger Kritik, nicht nur von Technikern. Artikel 51 AI-Act stellt dabei nicht nur wenig technikaffine Juristen vor besondere Herausforderungen. So gibt Art. 51 Abs. 1 vor, dass einem Modell mit allgemeinem Verwendungszweck ein „systemisches Risiko“ innewohnt, wenn es über Fähigkeiten mit hohem Wirkungsgrad verfügt, die mithilfe geeigneter technischer Instrumente und Methoden, einschließlich Indikatoren und Benchmarks, bewertet werden. oder gemäß der in Anhang 13 des AI-Acts festgelegten Kriterien von der Kommission oder dem wissenschaftlichen Gremium entschieden wird, dass ein solcher hoher Wirkungsgrad vorliegt. Da diese Definition kaum weiterhilft, soll hier mit Art. 51 Abs. 2 „Klarheit“ geschaffen werden. Hiernach wird angenommen, dass ein hoher Wirkungsgrad vorliegt, wenn die kumulierte Menge der für das Training verwendeten Berechnungen, gemessen in Gleitkommaoperationen, mehr als 1025 beträgt. Dies beschreibt die Rechenleistung, die zum Trainieren verwendet wurde. Maßeinheit hierfür sind die „Floating Point Operations Per Second“ (FLOPS), also die Anzahl an Gleitkommaoperationen, die ein Computer in einer Sekunde durchführen kann. Bei einem Wert von 106 sind das bereits eine Million Berechnungen in der Sekunde, der landläufig bekannte „Tera-FLOP“ (1012) hingegen bemisst eine Billion Rechenoperationen in der Sekunde. Zum Zeitpunkt des Gesetzgebungsverfahrens handelte es sich hierbei um eine sehr ambitionierte Vorgabe, welche kaum zu erfüllen war. Stand Herbst 2024 wird dieser Wert bereits von den Marktführern wie GPT-4 von OpenAI oder Inflection-2 von Inflection AI erfüllt, vermutlich auch von OpenAIs o1. Es ist dennoch zu erwarten, dass die Modelle, die es in der Zukunft mit diesen Marktführern aufnehmen sollen, die Marke von 1025 regelmäßig erfüllen oder sogar darüber liegen werden. Auch wenn die1025-Marke so in der Verordnung festgeschrieben ist, kann davon ausgegangen werden, dass diese in Zukunft angepasst werden wird. Dies wird auch so in Erwägungsgrund 111 der Verordnung hervorgehoben: "Dieser Schwellenwert sollte im Laufe der Zeit angepasst werden, um technologischen und industriellen Veränderungen, wie zum Beispiel algorithmischen Verbesserungen oder erhöhter Hardwareeffizienz, Rechnung zu tragen, und um Benchmarks und Indikatoren für die Modellfähigkeit ergänzt werden. Um die Grundlage dafür zu schaffen, sollte das Büro für Künstliche Intelligenz mit der Wissenschaftsgemeinschaft, der Industrie, der Zivilgesellschaft und anderen Sachverständigen zusammenarbeiten." Bei den Erwägungsgründen handelt es sich um eine Art Selbstkommentierung der europäischen Verordnungen, die zusätzlich zur rein regulatorischen Wirkung der Verordnung selbst noch Einblicke in den Hintergrund der Gesetzgebung geben oder recht abstrakt gehaltene Passagen zur besseren Auslegung erläutern sollen. Denn auch wenn die Erwägungsgründe eine grundsätzliche Willensrichtung des Gesetzgebers zum Ausdruck bringen, haben sie dennoch keine direkte rechtlich bindende Wirkung. Ob und wie zügig in den nächsten Jahren eine Anpassung des Grenzwertes an aktuelle technische Gegebenheiten erfolgen wird, bleibt daher unklar. Dies gilt umso mehr, nachdem bereits das gesamte Gesetzgebungsverfahren nur unter enormen Anstrengungen zum Abschluss gebracht werden konnte. Vermutlich werden alle Anbieter ambitionierter Modelle daher unter diese Regulierung fallen, die erst einmal primär Bürokratie mit sich bringt. Ob ein solches Modell tatsächlich per se mehr Risiken mit sich bringt, bleibt zunächst offen. Neben der Willensbekundung zur Aktualisierung der technischen Voraussetzungen erläutert Erwägungsgrund 111 zudem noch den Hintergedanken des Gesetzgebers bei der Festlegung der spezifischen Rechenleistung durch den Art. 51 AI-Act wie folgt: "Es ist angezeigt, eine Methodik für die Einstufung von KI-Modellen mit allgemeinem Verwendungszweck als KI-Modelle mit allgemeinem Verwendungszweck mit systemischen Risiken festzulegen. Da sich systemische Risiken aus besonders hohen Fähigkeiten ergeben, sollte ein KI-Modell mit allgemeinem Verwendungszweck als Modell mit systemischen Risiken gelten, wenn es über auf der Grundlage geeigneter technischer Instrumente und Methoden bewertete Fähigkeiten mit hoher Wirkkraft verfügt oder aufgrund seiner Reichweite erhebliche Auswirkungen auf den Binnenmarkt hat." Die Erreichung einer bestimmten Rechenleistung mit weiteren erheblichen rechtlichen Auflagen zu belegen, wird also lediglich mit einer recht allgemein gehaltenen Ausführung zu systemischen Risiken begründet. Die Definition des systemischen Risikos gibt wiederum Artikel 3 Nr. 63 AI-Act vor: "systemisches Risiko" ein Risiko, das für die Fähigkeiten mit hoher Wirkkraft von KI-Modellen mit allgemeinem Verwendungszweck spezifisch ist und aufgrund deren Reichweite oder aufgrund tatsächlicher oder vernünftigerweise vorhersehbarer negativer Folgen für die öffentliche Gesundheit, die Sicherheit, die öffentliche Sicherheit, die Grundrechte oder die Gesellschaft insgesamt erhebliche Auswirkungen auf den Unionsmarkt hat, die sich in großem Umfang über die gesamte Wertschöpfungskette hinweg verbreiten können" Augenfällig ist hierbei, dass der Risikobegriff, auch wenn er hier noch einmal besonders hervorgehoben werden soll, weitestgehend blutleer bleibt. Mit Blick auf die realen Marktgegebenheiten ist zudem stark zu bezweifeln, dass Modelle wie GPT-4 trotz Erreichens der entsprechenden Rechenleistung in der Lage sind, negative Folgen für die öffentliche Gesundheit, Sicherheit, die Grundrechte oder die Gesellschaft insgesamt zu entfalten. Dies spielt jedoch angesichts der Festlegung aufgrund der reinen Rechenleistung keine Rolle, damit die zusätzlichen Pflichten gemäß Artikel 55 AI-Act greifen. Aufgrund dieses systemischen Risikos hält Artikel 55 AI-Act eine Reihe von weiteren Pflichten für Anbieter bereit. So müssen diese eine Modellbewertung mit standardisierten Protokollen und Instrumenten, die dem Stand der Technik entsprechen, durchführen, wozu auch die Durchführung und Dokumentation von Angriffstests beim Modell gehören, um systemische Risiken zu ermitteln und zu mindern, mögliche systemische Risiken auf Unionsebene – einschließlich ihrer Ursachen –, die sich aus der Entwicklung, dem Inverkehrbringen oder der Verwendung von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko ergeben können, bewerten und mindern, einschlägige Informationen über schwerwiegende Vorfälle und mögliche Abhilfemaßnahmen erfassen und dokumentieren und das Büro für Künstliche Intelligenz und gegebenenfalls die zuständigen nationalen Behörden unverzüglich darüber unterrichten, ein angemessenes Maß an Cybersicherheit für die KI-Modelle mit allgemeinem Verwendungszweck mit systemischem Risiko und die physische Infrastruktur des Modells gewährleisten. Um alle diese Anforderungen in angemessener Weise erfüllen zu können, dürfen Anbieter von KI-Modellen den sogenannten Praxisleitfäden entgegensehen, deren Ausarbeitung das Büro für Künstliche Intelligenz gemäß Artikel 56 AI-Act fördern möchte. Diese sollen dabei nicht nur eine orientierunggebende Handreichung, sondern auch eine Richtlinie mit konkreten Handlungsanweisungen sein. Denn das AI-Office kann sämtliche Anbieter von GPAI-Modellen dazu ersuchen, die Praxisleitfäden zu befolgen. Welche Stelle konkret diese essenziell wichtigen Vorgaben/Orientierungshilfen ausarbeiten wird, ist derzeit noch offen. Artikel 56 Abs. 3 AI-Act gibt den Hinweis, dass dies grundsätzlich das Büro für Künstliche Intelligenz sein soll und dieses die nationalen Aufsichtsbehörden um die Mitwirkung an der Ausarbeitung ersuchen kann. Den erwartbar langwierigen Ausarbeitungsprozess sollte das KI-Büro im Übrigen in Kürze anschieben, da nach Artikel 56 Abs. 9 AI-Act die Praxisleitfäden spätestens am 2. Mai 2025 vorliegen müssen. Regelungen für KI-Systeme Im Gegensatz zu den GPAI-Modellen werden die herkömmlichen KI-Systeme, wie ChatGPT, Midjourney oder DeepL, nur nach ihrer konkreten Anwendung und dem damit verbundenen Risiko kategorisiert. Hier gelten die Risikoklassen „verboten“, „hochrisiko“ sowie „begrenzt“ und „minimal“. Einen besonderen Fokus legt der AI-Act dabei auf die verbotenen und die KI-Systeme mit hohem Risiko. Die Klassifizierung der im eigenen Unternehmen vorhandenen Systeme wird damit zu einer der zentralen Herausforderungen des AI-Acts. Die verbotenen KI-Dienste In Artikel 5 benennt der AI-Act verschiedene Verwendungen bzw. Wirkungen von KI-Systemen, welche grundsätzlich verboten sind. Das gilt für KI-Dienste, welche: das Verhalten von Personen oder Gruppen so stark verändern, dass sie potenziell erheblichen Schaden erleiden. Dies insbesondere bei der unterschwelligen Beeinflussung, also dem Einsatz manipulativer Techniken ohne das Wissen der Betroffenen, sowie der Ausnutzung von Schwächen oder Schutzbedürftigkeit, etwa durch gezielte Ansprache von verletzlichen Gruppen aufgrund von Alter, Behinderung oder sozialer und wirtschaftlicher Situation. Social Scoring vornehmen, also Personen oder Gruppen über einen bestimmten Zeitraum basierend auf ihrem Sozialverhalten oder persönlichen Verhalten bewerten, sofern dies zu einer Benachteiligung führt. Das Risiko einer Person für das Begehen von kriminellen Aktivitäten, basierend auf Profiling und Persönlichkeitsmerkmalen, vorhersagen sollen. Gesichtserkennungsdatenbanken durch das Auslesen von Bildern aus dem Internet oder von Überwachungskameras erstellen. Emotionen von Personen am Arbeitsplatz oder in Bildungseinrichtungen erkennen sollen, mit der Ausnahme des Einsatzes aus medizinischen Gründen oder Sicherheitsgründen. Personen in der Öffentlichkeit anhand von biometrischen Daten zu Strafverfolgungszwecken identifizieren können, mit der Ausnahme, es liegt eine konkrete Gefahrenlage vor. Personen auf Grundlage von biometrischen Daten kategorisieren, um Rückschlüsse auf Rasse, politische Einstellung, Gewerkschaftszugehörigkeit, religiöse und weltanschauliche Überzeugungen, Sexualleben oder sexuelle Ausrichtung ziehen zu können, mit der Ausnahme der Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze. Von den verschiedenen aufgeführten Verboten ist, wie dargestellt, kaum ein Verbot als absolut zu betrachten. Artikel 5 sieht für die verschiedenen verbotenen Einsatzfelder diverse Ausnahmezwecke vor, in denen ein Einsatz eines eigentlichen verbotenen Systems dennoch erlaubt sein kann. Von besonderer Relevanz dürften die verbotenen KI-Systeme infolgedessen für Datensammler sowie im Personalmanagement und Marketingbereich sein. Sollte ein Ausnahmetatbestand greifen, besteht die hohe Wahrscheinlichkeit, dass es sich bei dem System noch um ein Hochrisiko-KI-System im Sinne von Artikel 6 bis 49 AI-Act handelt. Die Hochrisiko-KI-Systeme Die Regelungen zu den Hochrisiko-KI-Systemen stellen einen der umfassendsten Abschnitte im AI-Act dar. Hier werden zunächst detailliert die KI-Systeme beschrieben, die zwar grundsätzlich erlaubt, aber besonders streng reguliert sind. Im Gesetzestext selbst von Artikel 6 AI-Act finden sich zunächst solche KI-Systeme, die Sicherheitsbauteile von besonders risikoreichen Maschinen sind. Hierzu zählen etwa medizinische Geräte, Flugzeuge, Autos oder schwere industrielle Maschinen. Ein Großteil der Beschreibung von dem, was alles als Hochrisiko-KI-System gilt, ist Anhang III des AI-Acts zu entnehmen. Hierunter fallen danach Systeme, die: eine biometrische Fernidentifizierung durchführen können, mit der Ausnahme, dass der einzige Zweck in der Identitätsbestätigung besteht. zur Emotionserkennung verwendet werden sollen. für die als Sicherheitskomponente bei der Verwaltung und dem Betrieb von kritischer Infrastruktur (wie Verkehr, Wasser-, Gas-, Wärme- oder Stromversorgung) genutzt werden. zur Zulassung oder Zuweisung für Bildungseinrichtungen verwendet werden. zur Bewertung von Lernergebnissen oder des Bildungsniveaus einer Person im Bildungswesen verwendet werden sollen. zur Überwachung und Erkennung von verbotenem Verhalten von Schülern bei Prüfungen verwendet werden sollen. zur Auswahl oder Einstellung sowie in Bewerbungsverfahren zur Sichtung oder Filterung von Personen verwendet werden sollen. Entscheidungen über die Veränderung von Arbeitsverhältnissen, inklusive Beförderungen und Kündigungen, beeinflussen. Zur Beurteilung, ob Personen Zugang oder Anspruch auf grundlegende öffentliche Dienstleistungen zusteht, wie z. B. Gesundheitsdiensten, Notrufen, Lebens- und Krankenversicherungen, verwendet werden sollen. Bei der Strafverfolgung eingesetzt werden zur Vorhersage von künftigen Straftaten, zur Bewertung von Beweismitteln und als Lügendetektoren. In der Asyl- und Grenzkontrolle als Werkzeug zur Prüfung von Asyl- und Visumsanträgen sowie zur Bewertung von Sicherheitsrisiken verwendet werden sollen. In der Rechtspflege zur Analyse und Auslegung von Rechtsvorschriften sowie zur Analyse von Beweismitteln eingesetzt werden sollen. Demokratische Prozesse wie Abstimmungen und Wahlen unterstützen und beeinflussen sollen. Da die vorgenannten Anwendungsszenarien nicht direkt aus dem AI-Act, sondern aus dem Anhang III zum AI-Act folgen, kann sich diese Liste schnell ändern und erweitern. Gemäß Artikel 7 Abs. 1 AI-Act ist die EU-Kommission jederzeit dazu befugt, diesen Anhang III durch Hinzufügung oder Anpassung der Anwendungsfälle zu verändern. Bei Zweifeln, ob ein KI-System gegebenenfalls als Hochrisiko-KI gelten könnte, sollten stets der Anhang II und die darin enthaltenen Beispiele direkt geprüft werden. Zusammenfassungen Dritter, so wie auch diese hier, können stets nur den aktuellen Stand zum Zeitpunkt des Verfassens wiedergeben. Überdies ist auch noch das Prozedere, das einer Änderung des Anhangs III vorangeht, unbekannt. Ob die EU-Kommission Änderungen an diesem so entscheidenden Anhang III ankündigt oder relativ geräuschlos vornimmt, bleibt der Kommission überlassen. Pflichten für Anbieter An die Hochrisiko-KI-Systeme stellt die Verordnung ganz erhebliche Anforderungen, welche dringend beachtet werden müssen. Gefordert sind hierbei die Anbieter des jeweiligen KI-Systems. So müssen die Anbieter die nachfolgenden in den Artikeln 6 bis 46 AI-Act festgehaltenen Pflichten befolgen: Einrichtung eines Risikomanagementsystems (Artikel 9) Verwendung von Datengovernance- und Datenverwaltungsverfahren zur Zweckbestimmung des Systems (Artikel 10) Erstellung einer technischen Dokumentation (Artikel 11) Einrichtung einer Protokollierungsfunktion (Artikel 12) Herstellung von Transparenz des Betriebs (Artikel 13) Beaufsichtigung durch einen Menschen (Artikel 14) Konzipierung unter den Maßgaben von Robustheit, Genauigkeit und Cybersicherheit (Artikel 15) Einrichtung eines Qualitätsmanagementsystems (Artikel 17) Durchführung von Korrekturmaßnahmen und Einhaltung von Informationspflichten (Artikel 20) Durchführung eines Konformitätsbewertungsverfahrens (Artikel 43) Verwendung einer digitalen CE-Kennzeichnung (Artikel 48) Damit Anbieter mit Sitz in Drittländern, also außerhalb der EU, diese zahlreichen Verpflichtungen nicht umgehen können, erweitert die EU auch hier die Geltung ihrer Verordnung über die eigenen Grenzen hinaus. Mit Artikel 22 AI-Act wird eine Bevollmächtigten-Regelung eingeführt. Auch hier sind Anbieter aus Drittländern gehalten, einen Bevollmächtigten mit Sitz in der EU zu benennen, welcher für die Einhaltung der gesetzlichen Vorgaben Sorge zu tragen hat und als Ansprechpartner für die zuständigen Behörden fungiert. Art und Umfang der Verpflichtungen für die Anbieter von Hochrisiko-KI-Systemen sind, wie dargestellt, enorm umfangreich ausgefallen. Der europäische Regulierungsdrang könnte an dieser Stelle so weit gegangen sein, dass zu befürchten gilt, dass KI-Projekte, bei denen eine derartige Einstufung im Raum steht, aus Angst vor der europäischen Überregulierung oder aufgrund einer Kosten-Nutzen-Rechnung schlichtweg nicht in Europa angeboten werden. Pflichten für Betreiber Für Stellen, die ein Hochrisiko-KI-System lediglich nutzen, ist es also vordergründig nicht die eigene Verantwortung, dafür zu sorgen, dass die KI sämtliche Vorgaben des AI-Acts erfüllt. Diese müssen beispielsweise nicht prüfen, ob die Grundlagen des Systems mit den Vorgaben des AI-Acts konform sind. Doch auch als Betreiber eines Hochrisiko-KI-Systems hält Artikel 26 AI-Act zahlreiche Pflichten für Sie bereit. Diese sind: Verwendung entsprechend der Betriebsanleitung sowie den allg. Sicherheitsmaßnahmen, Beaufsichtigung durch einen Menschen, Kontrolle der Daten entsprechend dem Zweck des Einsatzes, Aufbewahrung der automatisch generierten Protokolle, Information der betroffenen Arbeitnehmer, Einhaltung von Registrierungspflichten und gegebenenfalls die Durchführung einer Datenschutz-Folgenabschätzung. Die zuletzt genannte Pflicht zur Durchführung einer Datenschutz-Folgenabschätzung (DSFA) sollte hinsichtlich des damit verbundenen Aufwandes nicht unterschätzt werden. Bei einer DSFA handelt es sich um das umfangreichste Verfahren, das der europäische Datenschutz gemäß Artikel 35 DSGVO vorsieht. Bei einer genaueren Prüfung der Pflichten des Artikels 26 AI-Act fällt zudem auf, dass keine generelle Prüfpflicht für die Einhaltung der Pflichten auf Anbieterseite besteht. Dennoch kann die Überwachungspflicht des AI-Act als enorm umfangreich ausgelegt werden. Denn dieser sieht hier vor, dass Anbieter den Betrieb der KI überwachen müssen und eine Meldepflicht gegenüber dem Anbieter des Systems sowie gegenüber der zuständigen Aufsichtsbehörde haben. Diese Meldepflicht greift dann, wenn ein Grund zur Annahme besteht, dass die KI ein Risiko für Personen oder Gruppen darstellen könnte. Ein Risiko im Sinne des AI-Acts wiederum besteht bereits dann, wenn es möglich ist, dass einer dritten Person ein Schaden zugefügt werden könnte. Dies bedeutet in der Folge, dass neben einer dauerhaften Überwachungspflicht über den Betrieb der KI auch die fortlaufende Pflicht zur Überprüfung besteht, ob anderen ein Schaden lediglich entstehen könnte. Über die Hintertür entsteht für Betreiber dadurch die Pflicht, fortlaufend eine Risikoabschätzung während des Betriebs der KI vorzunehmen. Der europäische Regulierungsdrang macht somit mitnichten bei den Anbietern von Hochrisiko-KI-Systemen halt. Die Annahme, dass ein zugelassenes Hochrisiko-System einfach eingesetzt und gemäß den Vorgaben betrieben werden kann, ist somit falsch. Auch Betreiber von Hochrisiko-KI haben zahlreiche und zudem umfangreiche Pflichten zu erfüllen. Diese Pflichten dürften auch bei eventuellen Betreibern zu einer Kosten-Nutzen-Rechnung führen, bei der infrage steht, ob der Einsatz der KI einen solchen Mehrwert bietet, dass er den Aufwand im Zuge des Einsatzes aufwiegt. Augenfällig ist zuletzt, dass im Gegensatz zu den GPAI-Modellen mit systemischem Risiko keine Praxisleitfäden vom AI-Act vorgesehen sind. Wie die zahllosen Prüf-, Überwachungs- und Dokumentationspflichten genau einzuhalten sind, sodass Betreiber und Anbieter auf der sicheren Seite stehen, wird sich erst nach einigen Jahren geübter Praxis zeigen können. KI mit begrenztem Risiko Weitaus weniger stark reguliert sind die sogenannten KI-Systeme mit begrenztem Risiko. Unter die Bestimmungen gemäß Artikel 50 AI-Act fallen die allermeisten generativen KI-Dienste, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, sowie Chatbots.Für diese gelten lediglich einige Transparenz- und Informationspflichten. So müssen die Anbieter von Chatbots sicherstellen, dass die Personen, mit denen direkt interagiert wird, darüber informiert werden, dass sie es mit einer KI zu tun haben. Ausgenommen hiervon sind Anwendungsszenarien, bei denen das offensichtlich ist, sowie Anwendungen zur Aufdeckung und Verfolgung von Straftaten. Die Anbieter von generativen KI-Diensten wie ChatGPT und Midjourney wiederum müssen dafür sorgen, dass ihre Erzeugnisse, als künstlich erzeugt oder manipuliert gekennzeichnet sind. Hier müssen die Anbieter tätig werden und unter anderem Bilder in maschinenlesbarer Form so kennzeichnen, dass diese als künstlich generiert erkennbar sind. Wie dies konkret technisch umzusetzen ist, bleibt den Anbietern überlassen. Die Betreiber hingegen von KI-Systemen haben die Pflicht, sogenannte Deepfakes zu kennzeichnen. Was alles unter ein Deepfake fällt, definiert Artikel 3 Nr. 60 AI-Act: "Deepfake" einen durch KI erzeugten oder manipulierten Bild-, Ton- oder Videoinhalt, der wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt und einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde;" Hierunter sind also bereits Bilder oder Videos zu verstehen, die als fotorealistisch eingestuft werden können oder wenigstens täuschend echt wirken. Ob tatsächlich bewusst über Umstände oder Tatsachen getäuscht werden soll oder Irrtümer herbeigeführt werden sollen, ist dabei nicht von Relevanz. Diese Nutzung des Worts „Deepfake“ entspricht daher nicht der des allgemeinen Sprachgebrauchs, der darunter eher auf Täuschung angelegte Bilder oder Filme versteht, etwa aus dem Bereich der künstlich generierten und potenziell strafbaren „Rachepornos“. Zudem müssen die Betreiber eines KI-Systems, das Texte erzeugt oder manipuliert, ebenfalls über dessen Einsatz informieren, sofern die Texte zu dem Zweck veröffentlicht werden, die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren. Newsoutlets, die sich auf KI-Unterstützung verlassen, haben die Mitwirkung von Künstlicher Intelligenz also künftig transparent zu machen. Wie genau diese Kennzeichnung auszusehen hat, ist noch unklar, doch soll hier das Büro für künstliche Intelligenz die bekannten Praxisleitfäden bereitstellen, mit denen alles gut wird. KI mit minimalem Risiko Zu der sogenannten „KI mit minimalem Risiko“ werden durch den AI-Act gar keine Regelungen getroffen, weshalb diese hier nur der Vollständigkeit halber erwähnt sein soll. Dabei handelt es sich um Softwarelösungen, die bereits seit vielen Jahren bekannt sein dürften, ohne dass diese zwingend als KI eingeordnet werden. Hierzu gehören insbesondere Videospiele, Spamfilter oder Suchalgorithmen. Da von diesen klassischen Softwarelösungen kaum eine Gefahr ausgeht, sie auch nur über sehr geringe Einsatzmöglichkeiten verfügen und sie in aller Regel unter keine der bestehenden Beschreibungen der anderen Risikoklassen fallen, gehen mit ihrem Betrieb auch keine zusätzlichen Pflichten einher. Erwerb von KI-Kompetenz als zentrale Aufgabe Ein zentraler Aspekt der Verordnung ist die Verpflichtung zur Sicherstellung ausreichender KI-Kompetenz bei allen Beteiligten, die mit KI-Systemen arbeiten. Diese Anforderung verdient eine eingehende Betrachtung, da sie weitreichende Implikationen für Unternehmen, Organisationen und Individuen hat. Die Pflicht zur Gewährleistung von KI-Kompetenz ist explizit in Artikel 4 des AI Acts geregelt. Danach müssen Anbieter wie Betreiber von KI-Systemen gewährleisten, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von künstlicher Intelligenz befasst sind, über ein ausreichendes Maß an entsprechender Kompetenz verfügen. Bei der Vermittlung dieser Kompetenz sind verschiedene Faktoren zu berücksichtigen: die technischen Kenntnisse der Mitarbeiter, ihre Erfahrungen im Umgang mit KI-Systemen, ihre Ausbildung und Schulung im Bereich der künstlichen Intelligenz, der Kontext, in dem die Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die Systeme zum Einsatz kommen sollen. Wichtig: Diese Verpflichtung ist bereits seit dem 2. Februar 2025 in Kraft und gilt nicht nur für Unternehmen innerhalb der EU, sondern auch für Nicht-EU-Unternehmen, die KI-Systeme und -Modelle auf dem EU-Markt anbieten. Doch was genau ist unter KI-Kompetenz zu verstehen? Hierunter fallen die Fähigkeiten, das Wissen und das Verständnis, die benötigt werden, um fundierte Entscheidungen über derartige Angebote zu treffen. Diese Definition ist bewusst breit gefasst und umfasst mehrere Dimensionen: technisches Verständnis, ethische Kompetenz, Risikobewusstsein, die Fähigkeit zum verantwortungsvollen Einsatz von KI, rechtliches Bewusstsein und ein Verständnis für die gesellschaftlichen Auswirkungen der Technologien. Hintergrund für diese erheblichen Anforderungen an das Training der Mitarbeiter ist die Idee der neuen Regelungen, dass im Zweifelsfalle nicht die Maschinen, sondern immer ein Mensch das letzte Wort bei Entscheidungen haben soll. Um dies zu ermöglichen, braucht es gut ausgebildete Personen, die auch in der Lage sind, diese Entscheidungen nicht nur zu treffen, sondern sie auch zu überblicken. Hier besteht Handlungsbedarf: Um den Anforderungen des AI Acts gerecht zu werden, müssen Unternehmen und Organisationen zeitnah KI-Schulungsprogramme entwickeln und implementieren. Diese Programme sollten rollenspezifisch angepasst sein, einen ganzheitlichen Ansatz verfolgen, kontinuierlich aktualisiert werden, praxisorientiert sein und Mechanismen zur Evaluierung und Zertifizierung beinhalten. Jedoch müssen natürlich nicht alle Mitarbeiter in Rekordzeit zu KI-Sachverständigen ausgebildet werden. Es dürfte auf Basis des Gesetzeswortlauts ausreichen, dass entsprechendes Know-how im Unternehmen vorhanden und einsetzbar ist. Zu denken wäre hier beispielsweise an die Etablierung eines KI-Beauftragten, inspiriert von den bereits bekannten Datenschutzbeauftragten. Insbesondere für kleine und mittlere Unternehmen könnte dies trotzdem eine signifikante Belastung darstellen. Die schnelle Entwicklung im KI-Bereich und die Komplexität der Technologie erfordern zudem eine kontinuierliche Anpassung der Schulungsinhalte, was hohe Anforderungen an die Flexibilität und Lernbereitschaft aller Beteiligten stellt. Praxistipp: Kümmern Sie sich zeitnah um entsprechende Fortbildungsmöglichkeiten für Ihre Mitarbeiter. Die entsprechenden Schulungsprogramme sollten idealerweise Zertifikatskurse sein, die einen Nachweis der Ausbildungen ermöglichen. Die Implementierung umfassender KI-Kompetenz-Programme erfordert oft auch einen kulturellen Wandel innerhalb der Organisation, was auf Widerstand der Mitarbeiter stoßen kann. Trotz dieser Herausforderungen bietet die Verpflichtung zur Erlangung von KI-Kompetenz auch erhebliche Chancen. Gut geschulte Mitarbeiter können KI-Technologien effektiver und kreativer einsetzen, was zu Innovationen und Wettbewerbsvorteilen führen kann. Ein besseres Verständnis von KI-Systemen kann potenzielle Risiken und Fehlanwendungen reduzieren, was sowohl rechtliche als auch reputative Risiken minimiert Erfahrene KI-Experten im Unternehmen können als Mentoren für andere Mitarbeiter fungieren und selbst für die Fortbildung der Kollegen sorgen. Es sollten Mechanismen zur regelmäßigen Überprüfung und Aktualisierung der KI-Kompetenz implementiert werden. Zudem sollte KI-Kompetenz in Einstellungs-, Beförderungs- und Leistungsbeurteilungsprozesse integriert werden. KI-Aufsichtsbehörden Der AI Act sieht ein mehrstufiges Aufsichtssystem vor, das sowohl auf europäischer als auch auf nationaler Ebene agiert, um die Einhaltung der Vorschriften für künstliche Intelligenz zu gewährleisten. Die europäische Ebene: Das AI-Büro Auf EU-Ebene wird das Europäische Amt für künstliche Intelligenz, das sogenannte AI-Büro, als zentrale Institution eingerichtet. Diese Behörde ist innerhalb der Europäischen Kommission in Brüssel angesiedelt und hat gemäß Art. 64 AI-Act die Aufgabe, die Umsetzung und Überwachung des AI Acts in allen EU-Mitgliedstaaten zu koordinieren. Das Büro wird von einem Exekutivdirektor geleitet und arbeitet eng mit den nationalen Aufsichtsbehörden zusammen. Es verfügt über Befugnisse zur Kontrolle und Durchsetzung der Vorschriften, einschließlich der Anforderung von Informationen, der Durchführung von Inspektionen und der Verhängung von Sanktionen bei Verstößen. Daneben wird ein europäisches Gremium für Künstliche Intelligenz eingerichtet, dem ein Vertreter aus jedem Mitgliedstaat angehört. Auch der Europäische Datenschutzbeauftragte und ein Vertreter des KI-Büros nehmen an den Sitzungen teil. Den neu zu schaffenden Einrichtungen steht ein Beratungsforum zur Seite. Dies hat die Aufgabe, das technische Fachwissen bereitzustellen, und die Kommission, das Gremium und das Büro zu beraten und zu Aufgaben im Rahmen dieser Verordnung beizutragen. Kritiker hatten hinsichtlich dieser Gestaltung moniert, dass hier eine zu starke Machtkonzentration im Umfeld der EU-Kommission entsteht. Nationale Aufsichtsbehörden Auf nationaler Ebene sind die EU-Mitgliedstaaten gemäß Art. 70 verpflichtet, mindestens eine nationale Aufsichtsbehörde zu benennen. Diese Behörden sind verantwortlich für die Überwachung der Anwendung und Durchsetzung des AI-Acts innerhalb ihrer jeweiligen Länder. Die Mitgliedstaaten können bestehende öffentliche Einrichtungen wie Wettbewerbs-, Datenschutz- oder Cybersicherheitsbehörden als nationale Aufsichtsbehörden einsetzen. Diese Behörden müssen unabhängig arbeiten und sind mit ausreichenden Ressourcen auszustatten, um ihre Aufgaben effektiv zu erfüllen. In Deutschland hatten sich die Landesdatenschutzbehörden aktiv um diese Stellung beworben. Das Wirtschaftsministerium hatte allerdings Ende September 2024 erklärt, dass diese zentrale Rolle für die Bundesnetzagentur vorgesehen sei. Diese soll nicht nur als Aufsichtsbehörde fungieren, sondern auch „einen starken Auftrag zur Innovationsförderung erhalten“. Gerade für Letzteres ist die Bundesnetzagentur allerdings bislang nicht unbedingt bekannt. Damit nicht genug: Jeder Mitgliedstaat gemäß Art. 28 AI Act ist auch für die Benennung oder Schaffung mindestens einer „notifizierenden Behörde“ zuständig. Diese ist für die Einrichtung und Durchführung der erforderlichen Verfahren zur Bewertung, Benennung und Notifizierung von Konformitätsbewertungsstellen und für deren Überwachung zuständig. Dieses mehrstufige System soll sicherstellen, dass die Regelungen des AI Acts sowohl auf nationaler als auch auf europäischer Ebene effektiv durchgesetzt werden, um „ein hohes Maß an Sicherheit und Vertrauen in KI-Systeme innerhalb der EU zu gewährleisten“. Ob sich diese Vielzahl von zuständigen Stellen und die damit verbundene Bürokratie gut mit dem sich enorm schnell entwickelnden KI-Markt versteht, wird sich noch erweisen müssen. Die Rolle der Datenschutzbehörden Zusätzlich werden auch die Datenschutzbehörden des Bundes und der Länder eine erhebliche Rolle bei der Regulierung von KI in Deutschland spielen. Auch wenn diese voraussichtlich nicht das offizielle Amt der nationalen Aufsichtsbehörden erhalten werden, so bleibt bei Ihnen doch die Zuständigkeit für alle Bereiche, in denen KI-Systeme personenbezogene Daten verarbeiten. Das umfasst vorwiegend die Regulierung von ChatGPT und Co. Die in diesem Datenschutzbereich bestehenden rechtlichen Unsicherheiten sind erheblich und noch weitgehend am Anfang einer juristischen Klärung. Insofern ist auch in diesem Bereich eine massive Rechtsunsicherheit zu befürchten, da der europäische Gesetzgeber hier im Rahmen des AI Acts die Möglichkeit zu einer Klärung verpasst hat. Sanktionen nach AI Act Der AI Act der Europäischen Union sieht in den Artikeln 99 bis 101 des AI-Acts ein umfassendes Sanktionsregime vor, das darauf abzielt, die Einhaltung der Vorschriften für den Einsatz von künstlicher Intelligenz sicherzustellen. Die Sanktionen sind gestaffelt und richten sich nach der Schwere der Verstöße sowie der Art der betroffenen Akteure. Die im Raum stehenden Sanktionen, die durch die nationalen Behörden festgelegt werden, können dabei geradezu schwindelerregende Höhen erreichen. Schwerwiegende Verstöße im Bereich der verbotenen KI-Anwendungen, wie die Manipulation von Menschen oder die Verletzung von Grundrechten, können mit Geldbußen von bis zu 35 Millionen Euro oder 7 % des weltweit erzielten Jahresumsatzes eines Unternehmens geahndet werden, je nachdem, welcher Betrag höher ist. Für Pflichtverletzungen durch Anbieter, Importeure, Händler und Anwender von KI-Systemen können Geldbußen von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes verhängt werden. Nahezu günstig ist die Bereitstellung falscher, unvollständiger oder irreführender Informationen an Behörden, bei denen „nur“ Geldbußen von bis zu 7,5 Millionen Euro oder 1 % des weltweiten Jahresumsatzes im Raum stehen. Neben Geldbußen sieht der AI Act auch andere Durchsetzungsmaßnahmen für die Aufsichtsbehörden vor. Hierzu zählen Verwarnungen und nichtmonetäre Maßnahmen, die sicherstellen sollen, dass die Sanktionen wirksam, verhältnismäßig und abschreckend sind. Die Mitgliedstaaten sind verpflichtet, die nationalen Regelungen entsprechend anzupassen und die EU-Kommission über ihre Sanktionsregelungen zu informieren. Rücksicht wird auf kleine und mittlere Unternehmen (KMU) genommen. Die Sanktionen für KMU sind auf niedrigere Beträge begrenzt, um deren wirtschaftliche Lebensfähigkeit zu berücksichtigen. Dies spiegelt das Bestreben wider, die proportionalen Auswirkungen von Sanktionen auf kleinere Unternehmen zu minimieren. Erleichterungen hinsichtlich der bürokratischen Anforderungen gibt es allerdings nicht. Die Verhängung von Sanktionen obliegt in erster Linie den nationalen Behörden der Mitgliedstaaten. Für Anbieter von allgemeinen KI-Modellen (GPAI) hingegen kann die Europäische Kommission selbst Geldbußen verhängen. Ab wann sind die Regeln des AI Acts anwendbar? Die Verordnung wurde im Juli 2024 im Amtsblatt der EU veröffentlicht. Sie tritt am 1. August 2024 in Kraft und wird grundsätzlich zwei Jahre nach ihrem Inkrafttreten, d.h. ab dem 2. August 2026, anwendbar sein. Einzelne Bereiche treten jedoch gestaffelt in Kraft: 2. Februar 2025: Die Bestimmungen zu verbotenen KI-Systemen treten in Kraft. Diese betreffen Anwendungen, die als unannehmbar riskant eingestuft werden, wie solche, die die Gesundheit und Sicherheit oder Grundrechte gefährden. Zudem sind die Bestimmungen zu den Fortbildungspflichten ab diesem Zeitpunkt anwendbar. 2. August 2025: Die Regelungen für allgemeine KI-Systeme (General Purpose AI, GPAI) werden wirksam. Dies umfasst auch bestimmte Governance-Regeln und Verpflichtungen. 2. August 2026: Der Großteil der Verpflichtungen des AI Acts wird ab diesem Datum durchgesetzt, einschließlich der Bestimmungen für Hochrisiko-KI-Systeme. 2. August 2027: Die vollständige Anwendung der Vorschriften für alle Risikokategorien, einschließlich spezifischer Verpflichtungen für Hochrisiko-KI-Systeme, wird anwendbar. Diese gestaffelte Einführung gibt Unternehmen Zeit, sich auf die verschiedenen Anforderungen vorzubereiten und sicherzustellen, dass sie den neuen Regelungen entsprechen. Fazit Der AI Act bringt umfangreiche Regulierung vorrangig für die Anbieter von KI, aber auch für die Nutzer, die „Betreiber“, mit sich. Damit einher geht auch viel Bürokratie. Hart trifft es Unternehmen, die im Bereich von Hochrisiko-KI tätig sind. Allein die Nutzung ist nur mit erheblichem Aufwand möglich, die Herstellung ist angesichts des Bergs an Anforderungen jenseits von Großunternehmen nahezu unmöglich. Doch auch wer nur normale Systeme generativer KI wie ChatGPT, Claude oder Midjourney einsetzen will, hat Pflichten zu erfüllen, etwa hinsichtlich der Fortbildung oder der Kennzeichnung. Jedes Unternehmen tut daher gut daran, bereits jetzt in die Vorbereitung einzusteigen und, je nach Ausrichtung, folgende Anforderungen umzusetzen: Proaktive Vorbereitung: Unternehmen sollten bereits jetzt mit den Vorbereitungen beginnen, indem sie eine Bestandsaufnahme ihrer KI-Systeme durchführen und genau prüfen, ob man in einem Bereich der hochriskanten Systeme liegen könnte. Die frühzeitige Anpassung interner Prozesse kann helfen, die Anforderungen des AI Acts rechtzeitig zu erfüllen. Warten Sie nicht bis zum letzten Tag, wie so viele Unternehmen das seinerzeit bei der DSGVO-Umsetzung getan haben. Mitarbeiterschulung und -sensibilisierung: Unternehmen sollten in Schulungsprogramme investieren, um Mitarbeiter über ihre Pflichten und Verantwortlichkeiten im Rahmen des AI Acts aufzuklären. Diese Programme sollten Themen wie Datenschutz, Sicherheitsmaßnahmen und ethische Prinzipien umfassen. Governance-Strukturen etablieren: Unternehmen sollten robuste Governance-Frameworks entwickeln, die klare Verantwortlichkeiten und Aufsicht für alle KI-bezogenen Aktivitäten festlegen. Dies umfasst auch Mechanismen zur Risikobewertung, ethischen Überprüfung und kontinuierlichen Überwachung von KI-Systemen. Transparenz und Erklärbarkeit sicherstellen: Es ist wichtig, dass KI-Modelle transparent und erklärbar sind. Unternehmen sollten sicherstellen, dass die Entscheidungsprozesse ihrer KI-Systeme nachvollziehbar sind, um Vertrauen zu schaffen und regulatorische Anforderungen zu erfüllen. Dokumentation und Aufzeichnung: Eine gründliche Dokumentation aller Entwicklungsprozesse von KI-Systemen ist entscheidend. Unternehmen sollten umfassende Aufzeichnungen über Trainingsdatenquellen, algorithmische Entscheidungen und Modellanpassungen führen, um Auditierbarkeit und Transparenz zu gewährleisten. Risikomanagement stärken: Unternehmen müssen ihre Risikomanagementsysteme überprüfen und anpassen, um den spezifischen Anforderungen des AI Acts gerecht zu werden. Dies beinhaltet die Durchführung von Risikoanalysen und die Implementierung von Maßnahmen zur Risikominderung. Unterstützung durch externe Experten: Die Komplexität der Umsetzung des AI Acts kann durch die Zusammenarbeit mit externen Beratern oder Dienstleistern erleichtert werden, die spezialisierte Kenntnisse über die Verordnung haben. Beachten Sie, dass diese Experten spätestens in den nächsten Monaten nicht an Langeweile leiden werden. Mitarbeit in Verbänden und Gremien: Geteiltes Leid ist halbes Leid: Arbeiten Sie mit Unternehmen Ihrer Branche zusammen und versuchen Sie, in Verbänden und Gremien gemeinsame Lösungsansätze zu finden. Niklas Mühleis ist Rechtsanwalt und Partner der Kanzlei Heidrich Rechtsanwälte in Hannover. Joerg Heidrich ist Justiziar und Datenschutzbeauftragter von Heise Medien, Fachanwalt für IT-Recht und Partner der Kanzlei Heidrich Rechtsanwälte.

EU AI Act - Die KI-Verordnung der Europäischen Union

heise KI PROKI VERSTEHEN UND ANWENDEN

heise KI PRO
KI VERSTEHEN UND ANWENDEN