Künstliche Intelligenz kommt häufig in der Industrie und Verwaltung zum Einsatz. Ein neuer Bericht zeigt fünf problematische Trends, die diese Entwicklung begleiten.
Der Bericht wurde vom AI Now Institut an der New York University veröffentlicht, das mit KI-Experten vor Ort und aus der Industrie zusammenarbeitet. Das Institut soll soziale und gesellschaftliche Auswirkungen von Künstlicher Intelligenz untersuchen.
Trend 1: Es gibt eine wachsende Rechenschaftslücke in der KI-Branche
Datensammeln ist ein Riesengeschäft: Amazon, Google und Facebook profitieren entweder direkt oder verkaufen die Daten als Werbezielgruppen an ihre Kunden. Mit Künstlicher Intelligenz könnten diese Daten zukünftig noch goldiger, da besser interpretierbar werden. KI erkennt wertvolle Zusammenhänge, die zu besser personalisierter Werbung oder präziseren Verhaltensvorhersagen führen.
Die Kunden selbst haben laut des AI Now Instituts kaum noch Kontrolle über ihre Daten. Der Mangel an gesetzlichen Schranken und Selbstregulierung führe zu einem Machtgefälle zwischen Konzernen und Privatpersonen, so die Autoren.
Der Facebook-Datenskandal Anfang des Jahres zeigt, was möglich ist: Die politische Beratungsfirma Cambridge Analytica sammelte die Daten von 87 Millionen Facebook-Profilen – Zustimmung der Betroffenen: Fehlanzeige. Mit aus diesen Daten erstellten Persönlichkeitsprofilen und -analysen versuchte Cambridge Analytica, die öffentliche Meinung zu beeinflussen. Prominentester Kunde: US-Präsident Donald Trump.
Facebook-Gründer Mark Zuckerberg musste sich nach dem Datenskandal in einer Anhörung dem US-Kongress stellen. Dort entschuldigte er sich mit den Worten: „Es war mein Fehler und es tut mir leid. Ich habe Facebook gestartet, leite es und ich bin dafür verantwortlich, was hier passiert.“ Letztliche Konsequenz für Facebook und Zuckerberg: keine.
Cambridge Analytica meldete im Mai 2018 Insolvenz an. Doch mit Emerdata und Auspex International existieren zwei Quasi-Nachfolger des Unternehmens.
Trend 2: KI-Überwachung mit dem Potenzial zur totalen Kontrolle
Die KI-Fähigkeit zur Mustererkennung eignet sich hervorragend für Überwachungstechnologien, beispielsweise für die Gesichts- und Bewegungsanalyse. KI-gestützte Überwachungskameras werden in den USA, Asien und auch in Deutschland eingesetzt.
KI beschleunige die Automatisierung von Überwachung, so die Autoren des AI Now Berichts. Social-Media-Tracking und Gesichtserkennung würden immer breiter eingesetzt, das bedrohe die Privatsphäre.
Besonders kritisch sehen die Autoren die Affekterkennung: Anhand einer Gesichtsanalyse sollen Rückschlüsse auf Emotionen und psychische Gesundheit getroffen werden. Dies sei eine Gefahr für Menschenrechte und bürgerliche Freiheiten.
Ähnliche Bedenken äußerte kürzlich Microsoft-Präsident Brad Smith. Er fordert Regulierung für KI-Überwachung, um ein 1984-Szenario zu verhindern.
Abseits der Gesichtserkennung soll KI bei der Verbrechensbekämpfung helfen: Die hessische Polizei setzt aktuell die Software „Palantir Gotham“ ein, um gegen Terrorismus und organisierte Kriminalität vorzugehen. Die Software der US-Firma Palantir Technologies nutzt KI, um Verbindungen in unterschiedlichen Polizeidatenbanken und sozialen Medien aufzuzeigen. Sie wird in den USA von Sicherheitsbehörden und Geheimdiensten eingesetzt.
Trend 3: Regierungsbehörden setzen automatisierte Entscheidungssysteme ein, ohne den Schutz der Bürgerrechte zu sichern
Automatische Entscheidungssysteme versprechen mehr Effizienz und Kostenreduzierung. Daher ist ihr Siegeszug kaum aufzuhalten – das gilt auch für Regierungsbehörden. Die Systeme würden vor ihrem Einsatz zu wenig getestet und schlecht entworfen, kritisieren die Forscher des KI-Instituts.
In ihrem Buch “Automating Inequality” beschreibt Autorin Virginia Eubanks den Fall der sechsjährigen Sophie. Das schwerbehinderte Mädchen erhielt einen an sie adressierten Brief, in dem ihr mitgeteilt wurde, dass sie ihre medizinische Versorgungsunterstützung verlieren würde. Sie war Opfer eines Automatisierungsalgorithmus geworden, der entschied, wem staatliche Unterstützung zustand.
Betroffene könnten Fehlentscheidungen Künstlicher Intelligenz kaum nachvollziehen und anfechten, so die Autoren. Daher sei es gerade für Staaten wichtig, transparente Systeme zu schaffen.
KI-Fehler unterlaufen jedoch nicht nur Behörden. Kürzlich musste Amazon eine automatisierte Recruiting-Software abschalten: Sie hatte bei technischen Berufen Vorurteile gegen Frauen aus dem Trainingsdatensatz übernommen. Sie konnten nachträglich nicht mehr korrigiert werden.
Trend 4: KI-Systeme werden ohne Sicherheitskontrollen getestet
„Move fast and break things” – unter diesem Motto arbeitete Facebook angeblich viele Jahre. Für die Autoren des New Yorker KI-Instituts ist das Zitat symptomatisch für die Vorgehensweise vieler Techunternehmen: Produkte würden früh an Menschen getestet und dann verworfen oder weiterentwickelt.
Das sei gerade bei KI-Systemen unverantwortlich, geschehe aber immer häufiger. KI werde ohne Benachrichtigung oder Einverständnis Beteiligter getestet. Wenn dann etwas schiefgehe, sei unklar, wer verantwortlich sei.
Ein bekanntes Beispiel: Ein autonomes Uber-Auto überfuhr im März eine Fahrradfahrerin, die anschließend verstarb. Das Wahrnehmungsmodul des Autos erkannte sie erst 1,3 Sekunden vor dem Unfall. Das System für die Notbremse war jedoch deaktiviert und der Fahrer abgelenkt. Uber untersuchte den Vorfall und hat bis auf weiteres alle Tests mit autonomem Fahren auf Eis gelegt.
An anderer Stelle ist man optimistischer: Seit Anfang des Jahres sind im amerikanischen Bundesstaat Arizona autonome Fahrzeuge im Straßenverkehr erlaubt. Gesetze, die das komplexe Problem der Haftung und Verantwortlichkeit regeln: Fehlanzeige.
Auch abseits der Straße gibt es fragwürdige Entscheidungen. IBMs Watson Health wird in mehreren Kliniken getestet. Dort soll die KI Behandlungen für Patienten vorschlagen. IBM vermarktet das System als großen Erfolg – interne Dokumente zeigen jedoch zum Teil andere Ergebnisse.
In diesen wird auf Diagnosen verwiesen, bei denen Watson fahrlässige oder falsche Behandlungsempfehlungen ausspricht. Für die KI-Experten der New York University ist das ein Hinweis, dass es bei Watson eher um finanzielle Anreize geht und weniger um das Wohl der Patienten.
Trend 5: Fairness ist nicht nur eine Frage der Technik
KI-Systeme entwickeln Vorurteile und können unfaire Entscheidungen treffen, das ist mittlerweile bekannt. Die objektive Rechenmaschine ist eine Illusion, weil sie mit von Menschen gemachten Daten arbeitet.
Amazons zuvor erwähnte Bewerber-Software ist ein Beispiel für einen unfairen Algorithmus. Ebenfalls von Amazon stammt die KI-Gesichterkennung „Rekognition“. Sie steht im Verdacht, rassistische Vorurteile zu haben: In einem Test verwechselte Rekognition 28 US-Kongressabgeordnete mit Kriminellen – die Verwechslung trat überproportional häufig bei Abgeordneten mit dunkler Hautfarbe auf.
Der Fehler liegt mutmaßlich im zu kleinen Datensatz fürs KI-Training begründet, der nur 25.000 Bilder von US-Bürgern enthält. Für KI-Verhältnisse ist das wenig. US-Behörden sollen Rekognition für die Suche nach Kriminellen oder Vermissten einsetzen.
In einem offenen Brief kritisierten Anfang Dezember US-Abgeordnete Amazon: „Wir haben ernste Bedenken, dass das Produkt erhebliche Genauigkeitsprobleme hat, eine unverhältnismäßige Bürde für Menschen mit dunkler Hautfarbe ist und US-Bürger davon abhalten könnte, in der Öffentlichkeit frei zu agieren wie im Gesetz vorgesehen.“
KI-Ingenieure wollen das Vorurteilsproblem mit besseren Algorithmen lösen. Die KI-Experten von AI Now hingegen fordern einen verantwortungsvolleren Umgang mit Daten, bei denen soziale und politische Kontexte berücksichtigt werden.
Alte Probleme, neue Lösungen?
Der AI-Now-Bericht legt die oben genannten Probleme ausführlich dar. Er zeigt aber auch Lösungen auf. Alleine die Formulierung ethischer Leitlinien – ein Trend in 2018 - reiche jedoch nicht aus.
Studien zeigten, so die Autoren, dass die Auswirkungen solcher Leitlinien sich in Grenzen hielten. Ethische Kodizes könnten nur dann erfolgreich sein, wenn Firmen
- sie im gesamten Entwicklungsprozess integrieren,
- eine Instanz schaffen, die Leitlinien durchsetzen kann,
- und der Öffentlichkeit gegenüber rechenschaftspflichtig sind.
Die KI-Experten formulieren Empfehlungen für Politik, Industrie und Universitäten: Staaten sollen die Entwicklung und den Einsatz von KI stärker regulieren, überwachen und kontrollieren. Besonders Überwachungstechnologien sollten strengen Auflagen unterliegen.
Auch die Technologiekonzerne nehmen die Autoren in die Verantwortung. Es brauche interne Strukturen, die die Einhaltung ethischer Prinzipien durchsetzen. Belegschaft, die aus Gewissensgründen die Mitarbeit an KI-Projekten ablehnt, solle keine Konsequenzen für die eigene Karriere befürchten müssen.
Mit einem abschließenden Appell richten sich die Autoren an Universitäten: „Computerwissenschaft kann nicht mehr das unbestrittene Zentrum der KI-Forschung sein, sondern sollte gleichberechtigt mit sozialen und humanistischen Wissenschaften, zivilgesellschaftlichen Organisationen und den betroffenen Gemeinschaften zusammenarbeiten.“
