KI-Diagnose könnte Millionen Menschen helfen und das Gesundheitssystem entlasten. Eine neue Untersuchung zeigt, dass KI-Systeme für Radiologie deutliche Fortschritte gemacht haben.
Aktuelle Deep-Learning-Methoden ermöglichen Bildanalyse-KIs, die Radiologen helfen können, etwa Lungenkrebs oder eine Covid-19-Erkrankung auf Röntgenaufnahmen zu erkennen.
Forschungsergebnisse wurden in den letzten Jahren von zahlreichen Gruppen vorgestellt. Erfahrungen aus der Vergangenheit zeigen, dass entsprechend trainierte KIs häufig Probleme mit sich ändernden Bedingungen haben wie mit gering aufgelösten Aufnahmen oder Datensätzen, die nicht Teil des KI-Trainings waren.
Smartphone-Aufnahmen und unbekannte Quellen
Forscher der Stanford University haben jetzt acht verschiedene Analyse-KIs für Thorax-Röntgenbilder auf ihre klinische Tauglichkeit getestet. In der sogenannten CheXpert-Challenge mussten sich die Systeme bei Testdatensätzen in der Diagnose gegen menschliche Radiologen beweisen.
Die Stanford-Forscher stellten die Datensätze aus Smartphone-Fotos von Röntgenaufnahmen und nativen Aufnahmen zusammen, die die jeweiligen Modelle noch nie gesehen hatten. Das ist eine Herausforderung für KI-Systeme, da sich die Aufnahmen je nach vor Ort verwendetem Röntgengerät leicht unterscheiden. Ist ein System dann auf Bilder eines bestimmten Geräts spezialisiert, können diese Unterschiede die Diagnosefähigkeit beeinflussen.
Alle Analyse-KIs im Test wurden mit dem CheXpert-Datensatz trainiert. Der Open-Source-Datensatz umfasst knapp 223.000 Röntgenaufnahmen von etwa 65.000 Patienten und soll durch seine Vielfalt robustere KI-Modelle ermöglichen.
KI-Systeme schlagen Radiologen
Beim Test mit den Smartphone-Aufnahmen der Röntgenbilder schnitten alle acht KI-Modelle schlechter als mit nativen Aufnahmen ab. Die gute Nachricht: Nur drei der Systeme schnitten schlechter als Radiologen ab.
Beim Test mit nativen Aufnahmen zeigte sich, dass das Training mit dem großen CheXpert-Datensatz tatsächlich robustere Modelle hervorbringt: So schnitt kein Modell schlechter als die menschlichen Radiologen ab. Fünf Systeme schnitten statistisch signifikant besser als Ärzte ab.
Bereits jetzt erstellten die KI-Systeme nützliche klinische Diagnosen, schreiben die Forscher. Doch es brauche weitere Studien, um ihre Stärken und Schwächen besser zu verstehen.
Die Forscher empfehlen außerdem, ihre systematische Untersuchung der Generalisierungsfähigkeit von KI-Modellen für die Radiologie auf andere Medizin-KIs auszuweiten. Auf diese Art könne die Forschungsgemeinschaft die technische Reife für den klinischen Einsatz verfolgen.
