US-Behörde FDA setzt halluzinierende KI bei Medikamentenzulassungen ein

Die US-Behörde FDA, die über Medikamentenzulassungen entscheidet, setzt auf das generative KI-System Elsa – obwohl das laut Insidern regelmäßig Studien halluziniert.

„Alles, wofür man keine Zeit hat, es zu überprüfen, ist unzuverlässig. Es halluziniert voller Überzeugung“, sagt ein aktueller FDA-Mitarbeiter über das KI-System „Elsa“ (Efficient Language System for Analysis), das eigentlich die Zulassung neuer Medikamente beschleunigen soll. Mehrere Beschäftigte berichten gegenüber CNN, dass Elsa regelmäßig nicht existierende Studien erfindet oder Forschungsdaten falsch darstellt – ein bekanntes Problem großer Sprachmodelle. Der FDA-Chef für KI, Jeremy Walsh, räumt ein: „Elsa unterscheidet sich nicht von vielen anderen großen Sprachmodellen und generativer KI. Sie kann möglicherweise halluzinieren.“

Trotz dieser bekannten Schwächen wird Elsa bereits zur Bewertung klinischer Protokolle und zur Risikoeinschätzung bei Inspektionen eingesetzt – und das in einem regulatorischen Vakuum, da es in den USA derzeit keine verbindlichen Regeln für den Einsatz von KI im Gesundheitswesen gibt.