Die Menschheit besteht ihr eigenes "finales KI-Examen" nicht
Es sieht so aus, als würde die Menschheit ihr finales Examen selbst nicht bestehen. Laut FutureHouse enthalten rund 29 Prozent der Biologie- und Chemiefragen im KI-Benchmark Humanity’s Last Exam (HLE) Antworten, die laut Fachliteratur falsch oder irreführend sind. Die Fehlerquote wurde durch eine Kombination aus menschlicher und KI-gestützter Analyse ermittelt.
HLE wurde als besonders schwieriger Test konzipiert, um moderne Sprachmodelle an ihre Grenzen zu bringen, enthält aber laut der Analyse viele missverständliche oder ungenaue Fragen. Die Überprüfung durch Fachleute war auf wenige Minuten begrenzt, eine vollständige Richtigkeitsprüfung war nicht gefordert. FutureHouse veröffentlichte nun ein geprüftes Teilset namens "HLE Bio/Chem Gold" auf HuggingFace.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar“‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnierenKI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.