Ein Forscherteam hat die Krankenhaus-Simulation "Agent Hospital" entwickelt. Es ermöglicht medizinischen KI-Agenten, sich durch die Interaktion mit simulierten Patienten selbstständig weiterzuentwickeln.
Forscher der Tsinghua Universität stellen in einem neuen Artikel eine KI-gestützte Simulation eines Krankenhauses vor. Dieses "Agent Hospital" bildet viele medizinische Prozesse eines realen Krankenhauses von der Triage über die Diagnose bis zur Behandlung ab und dient als Trainingsumgebung für sprachmodellbasierte KI-Agenten.
Die Simulation umfasst zwei Arten von KI-Agenten: medizinisches Fachpersonal wie Ärzte und Krankenschwestern sowie Bewohner, die als potenzielle Patienten fungieren. Wird ein Bewohner-Agent krank, durchläuft er einen dynamisch generierten Prozess von Triage, Anmeldung, Untersuchung, Diagnose und Behandlung. Dabei wird sein Gesundheitszustand kontinuierlich überwacht.
Herzstück der Simulation ist der von den Forschern entwickelte "MedAgent-Zero". Der Arzt-Agent entwickelt sich durch die Interaktion mit dem Patienten selbstständig weiter - ohne menschliches Eingreifen oder manuell annotierte Daten. Die Arbeit kombiniert damit Ideen aus der Arbeit Generative Agents und AlphaZero.
Dazu speichert er erfolgreiche Behandlungen in einer "Medical Record Library" und leitet aus Fehldiagnosen Erfahrungswerte ab, die er in einer "Experience Base" sammelt. Bei jeder neuen Patientenbehandlung greift er auf diese Datenbanken zurück, um seine Entscheidungen zu optimieren.
KI-Agent behandelt Zehntausende Sim-Patienten in wenigen Tagen
In Experimenten mit bis zu 10.000 simulierten Patienten wurde der Agent in den Bereichen Untersuchung, Diagnose und Behandlung immer besser. Nach dem Training erreichten sie bei den jeweiligen Aufgaben Genauigkeiten von 88 Prozent, 95,6 Prozent und 77,6 Prozent. Ein einzelner Agent schaffte es, innerhalb weniger Tage Zehntausende von Patienten zu behandeln - eine Aufgabe, für die ein menschlicher Arzt jahrelange Erfahrung bräuchte.
Anschließend testeten die Forscher die trainierten Agenten auf einer Teilmenge des realen medizinischen Fragensets "MedQA", das die wichtigsten Atemwegserkrankungen abdeckt. Trotz des Mangels an realen Trainingsdaten übertrafen die Agenten den aktuellen Stand der Technik und erreichten sogar eine höhere Genauigkeit als menschliche Experten mit GPT-4 als Basismodell.
Vorerst soll MedAgent-Zero jedoch nicht auf echte Menschen losgelassen werden. Nach Ansicht der Forscher zeigt ihre Studie vor allem, wie Simulationsumgebungen die Leistung von KI-Agenten bei bestimmten Aufgaben verbessern können, ohne dass annotierte reale Daten benötigt werden. Sie planen, das "Agent Hospital" um weitere Krankheiten und medizinische Abteilungen zu erweitern und die soziale Simulation der Agenten zu verbessern, zum Beispiel durch die Einführung eines Transportsystems für medizinisches Personal.
