Forscher aus Bristol wollen medizinische KI nach dem Vorbild der Arzneimittelzulassung prüfen

Forscher der University of Bristol schlagen einen Rahmen vor, mit dem Entwickler die Verlässlichkeit von KI-Systemen im medizinischen Einsatz systematisch prüfen können. Sie orientieren sich dabei an den Standards, mit denen die Medizin neue Medikamente zur Marktreife bringt.

Medizinische KI-Systeme scheinen in ersten Tests oft gut zu funktionieren, versagen aber in Tests im Klinikalltag, weil sie sich an Merkmalen in den Trainingsdaten orientieren, die mit der eigentlichen Diagnose nichts zu tun haben.

Ähnliche Unsicherheiten kennt die Medizin auch von Medikamenten, deren genaue Wirkung im Körper unbekannt ist. Trotzdem hat sie Verfahren entwickelt, mit denen sie Wirkstoffe verlässlich einsetzen kann. Zu jedem Wirkstoff gehört ein strukturiertes Informationspaket, das festhält, unter welchen Bedingungen er wirkt: Dosis, Zeitpunkt und Patientengruppe. Erst dieses Paket macht aus einer chemischen Substanz eine verlässliche Therapie.

Inspiriert davon schlagen die Forscher der University of Bristol ein ähnliches Paket für Entwickler medizinischer KI vor.

Ein Baukasten mit drei Bereichen

Das vorgeschlagene "Learning Ensemble" soll drei Bereiche abdecken, die Entwickler dokumentieren und prüfen müssen, bevor ein System auf Patienten angewendet wird.

Der erste Bereich betrifft die Grenzen des Systems: Für welche Ärzte oder Kliniken ist es gedacht, auf welcher Hardware läuft es, mit welchen Patientendaten wurde es trainiert. Wie wichtig dieser Bereich ist, zeigt eine Studie aus dem Jahr 2021. Ein KI-System sollte auf Röntgenbildern eine COVID-Erkrankung erkennen. Statt Krankheitszeichen in der Lunge zu identifizieren, orientierte es sich an Nebensächlichkeiten in den Bildern, die zufällig mit der Diagnose zusammenhingen. Sobald das System in einer anderen Klinik eingesetzt wurde, versagte es.

Der zweite Bereich betrifft die Zuverlässigkeit in allen Patientengruppen. Eine durchschnittliche Trefferquote reicht nicht, denn ein System kann scheinbar gut abschneiden und bei bestimmten Gruppen trotzdem regelmäßig falsch liegen. Eine weitere Studie aus 2021 zeigte, dass KI-Systeme zur Auswertung von Röntgenbildern Krankheiten bei unterversorgten Bevölkerungsgruppen deutlich seltener erkannten. Der Einsatz solcher Systeme hätte ausgerechnet jene Patienten benachteiligt, die medizinisch ohnehin schlechter versorgt sind.

Der dritte Bereich ist aus Sicht der Forscher der wichtigste: die Frage, ob das System überhaupt zum vorgesehenen klinischen Zweck passt. Ein technisch funktionierendes System kann im Klinikalltag trotzdem unbrauchbar sein. Ein Beispiel: Ein KI-System stufte Asthma-Patienten mit Lungenentzündung als Fälle mit geringem Sterberisiko ein. In den Trainingsdaten überlebten sie tatsächlich häufiger, weil sie in Notaufnahmen besonders intensiv behandelt werden. Für die Triage, bei der es um die Risikoeinstufung neuer Patienten geht, war das Ergebnis wertlos.

Die Autoren verstehen ihre Arbeit als Ausgangspunkt. Der praktische Aufbau eines verlässlichen medizinischen KI-Systems bleibe ein aufwendiger Prozess aus Versuch und Irrtum, der Fachwissen, externe Prüfungen und ständiges Nachjustieren erfordere. Der vorgeschlagene Rahmen soll Entwicklern eine gemeinsame Sprache und Struktur an die Hand geben, um Probleme früher zu erkennen.