Es sieht so aus, als würde die Menschheit ihr finales Examen selbst nicht bestehen. Laut FutureHouse enthalten rund 29 Prozent der Biologie- und Chemiefragen im KI-Benchmark Humanity’s Last Exam (HLE) Antworten, die laut Fachliteratur falsch oder irreführend sind. Die Fehlerquote wurde durch eine Kombination aus menschlicher und KI-gestützter Analyse ermittelt.
HLE wurde als besonders schwieriger Test konzipiert, um moderne Sprachmodelle an ihre Grenzen zu bringen, enthält aber laut der Analyse viele missverständliche oder ungenaue Fragen. Die Überprüfung durch Fachleute war auf wenige Minuten begrenzt, eine vollständige Richtigkeitsprüfung war nicht gefordert. FutureHouse veröffentlichte nun ein geprüftes Teilset namens "HLE Bio/Chem Gold" auf HuggingFace.
