Elf Monate sitzt ein Mann wegen eines Mordverdachts in Untersuchungshaft. Der Grund: KI-gestützte Audio-Lokalisierung und ein geschlossenes Autofenster auf einer Videoaufnahme.
Das bereits 1996 gegründete Unternehmen ShotSpotter will über ein Mikrofon-Überwachungssystem Schüsse in Städten in Sekundenschnelle erkennen und lokalisieren. Das soll der Polizei und Rettungskräften bei ihrer Arbeit helfen, bei der jede Sekunde zählen kann: Mit ShotSpotter soll die Zeit zwischen einem Schuss und einem Alarm an die Polizei bei durchschnittlich nur 60 Sekunden liegen.
ShotSpotter ist laut der eigenen Webseite "führend im Bereich präziser polizeilicher Technologielösungen" und setzt dafür auf "Sensoren, Algorithmen und künstliche Intelligenz", die etwa 14 Millionen Geräusche identifizieren können soll.
Die Sensoren des Unternehmens sind in etwa 110 US-Städten auf Gebäuden, Telefonmasten und Straßenlampen verbaut und werden zentral in Büros in der Nähe von San Francisco und in Washington ausgewertet.
Laut ShotSpotter helfen Daten der Polizei beim KI-Training. Jede Kategorisierung eines Geräusches als Schuss muss von Mitarbeiter:innen bestätigt werden. Laut ShotSpotter liegt das System in 97 Prozent aller Fälle richtig.
Die gesammelten Daten kommen jedoch auch als forensische Berichte für die Staatsanwaltschaften zum Einsatz: In diesen Analysen werten Expert:innen von ShotSpotter die Audioaufnahmen und Einschätzungen der Algorithmen und KI-Systeme aus und geben Informationen wie Uhrzeit, Ort, Anzahl und Kategorie der Geräusche an Ermittler:innen weiter.
Eine Untersuchung der Associated Press, in der tausende interne Dokumente, E-Mails, Präsentationen und vertrauliche Verträge analysiert sowie dutzende öffentliche Verteidiger:innen in Städten, in denen ShotSpotter eingesetzt wird, interviewt wurden, zeigt jedoch jetzt, dass der Einsatz von ShotSpotter-Analysen als Beweismittel höchst problematisch ist.
ShotSpotters Algorithmen sind undurchsichtig
So halte ShotSpotter interne Daten und Informationen über die genaue Funktionsweise des Systems zurück. Die eingesetzten Algorithmen - eines der zentralen Verkaufsargumente des Systems - seien Geschäftsgeheimnis und größtenteils undurchsichtig für die Öffentlichkeit, Geschworene oder Aufsichtsgremien der Polizei, schreibt AP.
"Wir haben ein verfassungsmäßiges Recht, alle Zeugen und Beweise zu untersuchen, doch das ShotSpotter-System ist nur der Staatsanwaltschaft zugänglich und es gibt keine Möglichkeit, festzustellen, ob es exakt ist, wie es überwacht und kalibriert wird oder ob jemand etwas hinzugefügt hat", so Katie Higgins, eine Verteidigerin, die erfolgreich gegen ShotSpotter-Beweise gekämpft hat. "Im schlimmsten Fall könnte jemand unschuldig verurteilt werden, weil man so etwas als Beweismittel benutzt."
Während die Methoden anderer Beweisverfahren wie DNA oder Ballistik seit Jahrzehnten genau überprüft werden, sei der Algorithmus von ShotSpotter urheberrechtlich geschützt und daher noch nie von externen Wissenschaftler:innen oder Expert:innen überprüft worden.
"Der Einsatz von ShotSpotter als Beweis ist besorgniserregend, weil es einfach keine Studien gibt, die die Gültigkeit oder Zuverlässigkeit der Technologie belegen. Es gibt nichts", sagt Tania Brief, eine Anwältin beim Innocence Project, einer gemeinnützigen Organisation, die sich für die Aufhebung ungerechtfertigter Verurteilungen einsetzt.
Fehler im KI-System
Die Untersuchung von AP zeigt, dass ShotSpotters System Schüsse direkt unterhalb von Mikrofonen überhören und Feuerwerk-Explosionen oder Fehlzündungen von Autos als Schüsse falsch kategorisieren kann.
2018 gab die Polizei von Fall River in Massachusetts an, ShotSpotter liefere in weniger als 50 Prozent aller Fälle korrekte Informationen und habe bei einem Mord in der Innenstadt alle sieben Schüsse überhört.
Von ShotSpotter erstellte forensische Berichte wurden laut AP in Gerichtsverfahren genutzt, um unzulässigerweise zu behaupten, dass Angeklagte auf Polizisten geschossen haben oder sie wurden für fragwürdige Angaben über die Anzahl der von Angeklagten angeblich abgegebenen Schüsse genutzt. In einer Reihe von Fällen hätten Richter:innen diese Beweise verworfen.
Doch die Fehler kommen nicht nur von Maschinen: Mitarbeiter:innen änderten laut Gerichtsakten mehrfach den Ort oder die Anzahl der abgefeuerten Schüsse auf Anfrage der Polizei. In der Vergangenheit konnte die Polizei selbst einige dieser Änderungen vornehmen.
Die Untersuchung zeigt außerdem, dass Mitarbeiter:innen in einigen Fällen die vom System erkannten Geräusche nachträglich als Schüsse kategorisierten.
In einem Prozess zu einer Schießerei mit Polizeibeteiligung in Rochester, New York, offenbarte der ShotSpotter-Ingenieur Paul Greene auf die Frage, warum einer seiner Mitarbeiter:innen Hubschrauber-Geräusche als einen Schuss umklassifizierte, dass diese Änderung nach einer Aufforderung der Polizei von Rochester vorgenommen wurde.
Auf die Frage des Verteidigers, ob das häufiger vorkomme, antwortete Greene: "Ja, es passiert die ganze Zeit. Normalerweise vertrauen wir darauf, dass unsere Kunden aus der Strafverfolgung offen und ehrlich zu uns sind."
In einem Mordprozess in San Francisco 2017 offenbarte Greene, dass ein ShotSpotter-Analyst den Ort eines ersten Alarms des Systems um einen Straßenblock verschob, sodass er mit dem Tatort übereinstimmte.
"Das System ist nicht perfekt. Der Punkt auf der Karte ist lediglich ein Startpunkt für die Lokalisierung", begründete Greene diese Handlung.
Elf Monate Gefängnis wegen eines Geräusches
Im Mai 2020 wird der 25-jähriger Safarian Herring im Auto des 65-jährigen Michael Williams angeschossen. Williams wollte Zigaretten an einer Tankstelle holen. Als er ankommt, sieht er, dass diese zerstört ist.
Sechs Tage zuvor wurde George Floyd von dem Polizisten Derek Chauvin getötet. Landesweite Proteste führten immer wieder zu Ausschreitungen und Plünderungen - so auch in Williams Nachbarschaft.
Williams dreht um und trifft auf dem Rückweg Herring, der um eine Mitfahrt bittet. Williams nimmt Herring mit, der auf der Beifahrerseite einsteigt.
Kurz vor einer Kreuzung fährt laut Williams ein zweites Auto neben sein Fahrzeug. Der Beifahrer des zweiten Autos gibt laut Williams einen Schuss auf ihn und Herring ab, der Williams verfehlt und Herring am Kopf trifft.
Williams gibt Gas, fährt über eine rote Ampel und bringt den stark blutenden Herring zum St. Bernard Hospial, wo das medizinische Personal versucht, den jungen Mann zu retten. Am 02. Juni wird Herring für tot erklärt. Später sagt Herrings Mutter, der junge Mann habe erst zwei Wochen zuvor eine Schießerei an einer Bushaltestelle überlebt.
Williams ist wegen versuchtem Mord, Raub und Schusswaffengebrauch vorbestraft und saß bereits im Gefängnis. Seit seiner letzten Entlassung vor 15 Jahren hat er jedoch keine juristischen Probleme und zahlreiche Jobs gehabt.
Im August 2020 wird Williams wegen eines Mordverdachts verhaftet: Er soll Herring getötet haben.
Die Beweise stammen jedoch nicht von Augenzeugen, von einer gefundenen Waffe oder einem Informanten, sondern von einer Videoaufnahme eines Autos und einem lauten Knall, der von ShotSpotters Überwachungssystem aufgezeichnet wurde.
Die Staatsanwaltschaft teilt mit, dass ein Algorithmus darauf hindeute, dass Williams den Mann erschossen habe. Ein Motiv liefert sie nicht.
Feuerwerk oder Schuss?
Das Überwachungsvideo einer Kamera zeigt, wie Williams die rote Ampel überfährt, ebenso ein weiteres Auto, das offenbar die Fenster geschlossen hat. Laut Staatsanwaltschaft schließe das aus, dass aus diesem Fahrzeug der tödliche Schuss abgegeben wurde und beweise, dass Williams den jungen Herring erschossen habe.
ShotSpotter-Sensoren triangulieren außerdem in der Nacht ein lautes Geräusch, zunächst etwa 1,6 Kilometer vom vermuteten Tatort entfernt. Das System stuft das Geräusch mit 98-prozentiger Sicherheit als Feuerwerkskörper ein. Ein ShotSpotter-Mitarbeiter kategorisiert es jedoch als Schuss.
Später ändert ein ShotSpotter-Ingenieur die triangulierte Adresse zu der knapp 1,6 Kilometer entfernten Straße, auf der Williams mit seinem Auto unterwegs war. Laut ShotSpotter entspricht das jedoch dem tatsächlichen Standort, den die Sensoren bei einer zweiten Untersuchung ermittelt hatten. Die große Distanz vor der Änderung kam durch eine Übertragung von Längen- und Breitengrad in eine Straßenadresse zustande, die zu einem großen Park gehört.
ShotSpotters Memo führt wohl zum Ende der Anklage
Nach elf Monaten Gefängnis und zwei Covid-19-Erkrankungen wird Williams am 23. Juli 2021 schließlich entlassen. Der zuständige Richter weist die Anklage aufgrund mangelnder Beweise ab. Grund ist unter anderem ein Hinweis von ShotSpotter, dass das System keine Schüsse innerhalb eines Autos erkennen kann. Im Vertrag mit der Polizei von Chicago finde sich ein entsprechender Hinweis im Kleingedruckten.
Das Unternehmen weigerte sich jedoch laut AP, mitzuteilen, zu welchem Zeitpunkt während der fast einjährigen Inhaftierung von Williams Kontakt mit der Anklage aufgenommen wurde oder warum es einen forensischen Bericht für einen Schuss erstellte, der angeblich in Williams' Fahrzeug abgefeuert wurde, obwohl das System Schwierigkeiten hat, Schüsse in geschlossenen Räumen zu identifizieren.
Der Bericht selbst habe außerdem widersprüchliche Informationen enthalten, die darauf hindeuteten, dass die Technologie tatsächlich in Autos funktioniere.
Der Anwalt von Williams habe diese Informationen von der Staatsanwaltschaft jedoch nie erhalten. Stattdessen sei die Anklage zwei Monate, nachdem er ShotSpotter aufgefordert hatte, den Schriftverkehr des Unternehmens mit den Staatsanwälten zu übermitteln, fallen gelassen worden.
Wir sollten hohe Ansprüche an KI-Überwachungssysteme haben
Der Fall Williams und andere Beispiele zeigen, dass KI-gestützte Überwachungssysteme eine immer größere Rolle in der Strafverfolgung spielen.
Während ShotSpotters System bei einer Fehlanalyse im Normalbetrieb im besten Fall nur zu einem unnötigen Umweg für Polizist:innen im Einsatz führt, können sie als forensische Beweise deutlich mehr Schaden anrichten - egal, ob durch KI-Versagen oder menschliche Fehler. ShotSpotter und andere Anbieter von KI-gestützten Audio- und Videoanalysen müssen ihre Software und Methoden so deutlich offenlegen, wie es etwa bei DNA-Analysen der Fall ist.
Williams Prozess zeigt vor allem die andere Seite von Geschäftsgeheimnissen und Marketingstrategien in der KI-Branche: Die Beweise der Staatsanwaltschaft waren dürftig und das Vertrauen in ShotSpotter als Beweismittel zu groß.
Durch eine Offenlegung der Analyse und mit Zugriff der Verteidigung auf ShotSpotters Daten wären Williams wohl einige Monate Gefängnisaufenthalt und eine schwere Erkrankung erspart geblieben.
ShotSpotter und andere Überwachungssysteme boomen dank KI
Strengere Regelungen und höhere Ansprüche sind auch deshalb dringend nötig, da ShotSpotter und andere KI-Überwachungstechnologien weiter wachsen werden. In den USA wurden bereits in 200 Fällen ShotSpotter-Analysen als Beweise in Gerichtsverfahren zugelassen, alleine 91 davon in den letzten drei Jahren.
Ende letzten Jahres forderte die Trump-Administration finanzielle Unterstützung für den Ausbau von Systemen wie ShotSpotter zur "Bekämpfung von Schusswaffenkriminalität und Gewalt". Bidens Regierung ernannte im Frühjahr David Chipman, einen ehemaligen ShotSpotter-Manager, zum Leiter der Bundespolizeibehörde für Alkohol, Tabak, Schusswaffen und Sprengstoffe.
US-Präsident Joe Biden wies im Juni darauf hin, dass am Erwerb von Systemen zur Schusswaffenerkennung wie ShotSpotter interessierte Gemeinden finanzielle Unterstützung durch den American Rescue Plan erhalten können, der die Erholung der USA von der Pandemie beschleunigen soll.
ShotSpotter ist außerhalb der USA auch in Südafrika und der Karibik im Einsatz.
