MIRA und AMIE: Zwei KI-Systeme diagnostizieren so gut wie Ärzte, doch ein Ergebnis wirft unbequeme Fragen auf

MIRA arbeitet wie ein Arzt im simulierten Krankenhaus

MIRA steht für Medical Intelligence for Reasoning and Action und wurde unter anderem an der TUD Dresden und der Universität Heidelberg entwickelt.  Anders als gängige Chat-Werkzeuge operiert das System als autonomer Agent in einer abgeschotteten, virtuellen elektronischen Patientenakte. Laut der Studie kann MIRA aus mehr als 85.000 Optionen wählen, verteilt auf elf Werkzeuge: Es erhebt die Anamnese, ordnet Labor-, Mikrobiologie- und Bildgebungsuntersuchungen an, interpretiert die Ergebnisse, stellt Differentialdiagnosen und formuliert Behandlungspläne bis hin zur Verschreibung von Medikamenten, der Planung von Eingriffen und der Krankenhausaufnahme.

Getestet wurde MIRA an mehr als 500 echten Notaufnahmefällen aus dem öffentlichen Datensatz MIMIC-IV. Ein zweiter KI-Agent spielte dabei den Patienten und gab nur Informationen aus der jeweiligen Krankengeschichte preis.

Über acht Krankheitsbilder hinweg lag MIRA bei einer Trefferquote von 88,9 Prozent, gemessen an den tatsächlich dokumentierten Diagnosen aus dem Datensatz. Um die KI direkt mit Ärzten vergleichen zu können, bearbeiteten beide Seiten zusätzlich einen Ausschnitt von 311 Fällen unter identischen Bedingungen. Hier erreichte MIRA 87,8 Prozent, vier erfahrene Fachärzte kamen auf 78,1 Prozent, ein gemischtes Team aus Assistenz- und Fachärzten auf 71,1 Prozent. Am besten schnitt MIRA bei Blinddarmentzündung ab (98,6 Prozent) und bei Bauchspeicheldrüsenentzündung (92,3 Prozent). Schwerer taten sich KI wie Ärzte bei Lungenentzündung (72,4 Prozent) und Harnwegsinfekten (77,6 Prozent).

Die Forschenden prüften auch die Sicherheit der Empfehlungen. Eine fachärztliche Kontrolle, bei der die Prüfer nicht wussten, ob eine Empfehlung von MIRA oder einem Menschen stammte, fand keine gefährlichen Medikamentenkombinationen, keine falschen Dosierungen bei eingeschränkter Nierenfunktion und keine riskanten Verschreibungen von Schmerzmitteln. Beim Erfassen der Medikamente, die ein Patient bereits einnimmt, lag MIRA fast vollständig richtig. Auch bei der Frage, ob ein Patient stationär aufgenommen werden muss, lag das System richtig: Es übersah keinen einzigen Fall, der eine Aufnahme erforderte. Selbst wenn die Patienten im Test nur Deutsch oder Französisch sprachen oder sich besonders ängstlich gaben, blieb die Leistung stabil. Der Programmcode steht auf GitHub.

AMIE nutzt zwei Agenten und richtet sich nach Leitlinien

Googles AMIE setzt einen anderen Schwerpunkt: die Betreuung von Patienten über mehrere Arztbesuche hinweg. Das System besteht aus zwei Teilen. Ein Gesprächsagent führt den schnellen, freundlichen Dialog mit dem Patienten. Ein zweiter Agent denkt im Hintergrund gründlicher nach und gleicht den Fall mit medizinischen Leitlinien ab.

In einer aufwendig kontrollierten Studie verglich Google AMIE mit 21 Hausärzten anhand von 100 Fällen, die jeweils mehrere Besuche umfassten. Grundlage waren die britischen Leitlinien NICE Guidance und BMJ Best Practice. Patienten wurden von Schauspielern per Text-Chat dargestellt. Laut Studie war AMIE den Hausärzten bei den Behandlungsentscheidungen ebenbürtig und bei der Genauigkeit der Pläne sowie der Treue zu den Leitlinien überlegen. Beim ersten Besuch etwa galt der Gesamtplan von AMIE in 95 Prozent der Fälle als angemessen, bei den Hausärzten in 72 Prozent. Sowohl die Fachärzte als auch die Patientendarsteller bevorzugten AMIE häufiger als die menschlichen Ärzte.

Um das Medikamentenwissen zu prüfen, entwickelte das Team einen eigenen Test namens RxQA, der auf zwei nationalen Arzneimittelverzeichnissen beruht und von zugelassenen Apothekern überprüft wurde. Bei den schwierigen Fragen schnitt AMIE besser ab als die Hausärzte. Anspruchsvoll war der Test allerdings für beide Seiten: Selbst bei den leichteren Fragen lag der beste Wert unter 75 Prozent.

Beide Teams warnen vor verfrühten Schlüssen

Die Autoren betonen die Grenzen ihrer Ergebnisse. MIRA empfahl in einem kleinen, aber nicht zu vernachlässigenden Teil der Fälle eine Behandlung, die von den anerkannten Empfehlungen abwich. Zudem könnten die Antworten des simulierten Patienten geordneter ausgefallen sein als die oft unklare Schilderung echter Patienten in einer Notaufnahme. Auch lässt sich nicht völlig ausschließen, dass der frei verfügbare MIMIC-IV-Datensatz bereits Teil des Trainingsmaterials der verwendeten Modelle war. In diesem Fall wäre die gemessene Leistung eher ein bestmöglicher Wert als ein realistischer. Hinzu kommt, dass die Vergleichsärzte im deutschen Notaufnahmesystem arbeiteten, das sich von anderen Ländern unterscheidet.

Die AMIE-Studie nennen ihre Entwickler einen "Meilenstein", betonen aber, dass weder die Auswahl der Fälle noch die reinen Textgespräche eine echte Klinik abbilden. Das System zeige "vielversprechende Fähigkeiten", sei aber "nicht reif für die Übersetzung in die reale Welt". Nötig sei weitere Arbeit gegen Fehler, die sich in den verborgenen Denkschritten des Systems einschleichen können.

Jakob Kather, dessen Arbeitsgruppe MIRA mitentwickelte, sagte der Financial Times: "Wir bekommen einen Vorgeschmack darauf, wie KI die Medizin verändern könnte." Er vergleicht solche KI-Agenten mit dem Autopiloten eines Flugzeugs: Sie könnten Routineaufgaben übernehmen, die letzte Verantwortung bleibe aber immer beim Arzt.

Unabhängige Fachleute dämpfen die Erwartungen

Forschende, die nicht an den Studien beteiligt waren, lobten deren sorgfältige Methodik, verwiesen aber darauf, dass es sich um Simulationen handelt. Catherine Pope, Professorin für Medizinsoziologie an der University of Oxford, sagte der FT, dies sei "ein Stück entfernt von der unordentlichen, komplexen, menschlichen Welt der alltäglichen Gesundheitsversorgung".

Julie Jacko, Professorin für Gesundheitsinformatik an der University of Edinburgh, erklärte, dass viele der berichteten Vorteile vor allem auf der "Präzision und Vollständigkeit der Pläne" beruhten, nicht auf "klaren Unterschieden in der klinischen Korrektheit". Die Studie zeige die Leistung gegenüber einem festen Standard, erfasse aber nicht die ganze Komplexität echter Entscheidungen am Krankenbett.

Das Drumherum hilft vor allem schwachen Modellen

Eine der aufschlussreichsten Erkenntnisse steckt in den Zusatzversuchen der AMIE-Studie. Wie so oft bei begutachteten Studien stützen sich beide Systeme nicht auf die jeweils neuesten KI-Modelle. AMIE baut noch auf Googles älterem Gemini 1.5 Flash auf, MIRA nutzt GPT-4o und o1-preview von OpenAI, allesamt inzwischen von neueren Generationen überholt.

Die Google-Forscher tauschten daher einzelne Bausteine ihres Systems aus, um zu prüfen, was den Erfolg eigentlich ausmacht: das aufwendige Drumherum aus Zwei-Agenten-Architektur, Leitlinien-Abgleich und Spezialtraining, oder schlicht das zugrundeliegende Sprachmodell.

Beim alten Gemini 1.5 Flash brachte der Spezial-Aufbau den beobachteten, deutlichen Leistungsschub. Setzten die Forscher denselben Aufbau jedoch auf das neuere Gemini 2.5 Flash, verschwand der Vorteil nahezu.

Das Spezialsystem gleicht im Kern also die Schwächen des älteren Modells aus, indem es strukturiertes Schlussfolgern erzwingt, Leitlinien zitieren lässt und Halluzinationen unterdrückt. Ein leistungsfähiges Modell kann all das von sich aus und benötigt diese Krücke kaum noch. Das Paper räumt entsprechend ein, dass der Nutzen des AMIE-Systems schrumpft, je besser das Basismodell wird. Tatsächlich schneiden aktuellere Allzweckmodelle wie Gemini 2.5 Pro, o3 und GPT-5 im Medikamenten-Test RxQA bereits "weitgehend vergleichbar" ab wie das gesamte AMIE-System.

In der Praxis scheint AMIE damit von der KI-Entwicklung überholt worden zu sein, ein Trend, der bereits häufiger zu beobachten war: Gerüste um Sprachmodelle werden durch stärkere Modelle überflüssig, mitunter weil sie selbst zu den Trainingsdaten für neuere Modelle beitragen. Die Ideen dahinter sind damit aber nicht wertlos geworden, im Gegenteil. Im Coding und zunehmend auch in anderen Bereichen sind Gerüste wie Claude Code, OpenAI Codex oder Claude Cowork im Einsatz, die dem Modell Werkzeuge, Inhalte und Gedächtnis bereitstellen. Dort erzielen auch stärkere Modelle weiterhin bessere Ergebnisse bei komplexen Aufgaben. Mit der Modellleistung muss also auch die Leistung des Gerüsts steigen, sonst wird es irgendwann nutzlos.

Für MIRA fehlt eine solche Analyse. Ein Teil seines Aufbaus zielt allerdings weniger darauf, Modellschwächen auszugleichen, als darauf, die KI technisch an ein Kliniksystem anzubinden, und würde auch mit stärkeren Modellen nicht überflüssig.