KI-Forscher entdecken "Gesetz des schwächsten Glieds" bei Sprachmodellen
Eine neue Studie zeigt, dass die Leistung von KI-Sprachmodellen bei komplexen Aufgaben durch ihre schwächste Fähigkeit begrenzt wird. Dies hat wichtige Implikationen für die Entwicklung zukünftiger KI-Systeme.
Laut einer neuen Studie von Forschern von Meta AI und der University of Illinois Urbana-Champaign folgen Large Language Models (LLMs) bei komplexen Aufgaben dem "Gesetz des schwächsten Glieds". Die Leistung der Modelle wird demnach durch ihre am wenigsten entwickelte Fähigkeit begrenzt.
Die Forscher entwickelten einen umfassenden Benchmark namens CrossEval, um sowohl einzelne als auch kombinierte Fähigkeiten von LLMs zu bewerten. Dafür definierten sie sieben Kernfähigkeiten wie Englisch, logisches Denken und Programmieren sowie sieben häufige Kombinationen dieser Fähigkeiten, etwa Programmieren und logisches Denken, Werkzeugnutzung und Programmieren oder Spanisch und Bilderkennung.
"Wir haben festgestellt, dass die Leistung bei kombinierten Fähigkeiten typischerweise durch die schwächste Fähigkeit eingeschränkt wird", erklären die Autoren. Von 58 untersuchten Kombinationen lagen 38 unter dem Niveau beider Einzelfähigkeiten, während 20 zwischen den beiden, aber näher an der schwächeren Fähigkeit lagen.
Dieses Muster zeigte sich konsistent über verschiedene LLMs und Evaluierungsmethoden hinweg. Die Studie ergab auch, dass LLMs bei kombinierten Fähigkeiten generell schlechter abschneiden als bei einzelnen Fähigkeiten. Die Forscher sehen darin ein Zeichen dafür, dass aktuelle Modelle stark für einzelne Fähigkeiten optimiert sind, während die Integration verschiedener Fähigkeiten vernachlässigt wurde.
Implikationen für KI-Entwicklung
Die Ergebnisse haben wichtige Implikationen für die Entwicklung zukünftiger KI-Systeme. "Angesichts der Tatsache, dass LLMs bei kombinierten Fähigkeiten generell unterdurchschnittlich abschneiden, sollte die Identifizierung und Verbesserung dieser Schwachstellen eine Priorität für zukünftige Forschung und Entwicklung sein", betonen die Autoren.
Die Forscher schlagen vor, dass KI-Entwickler gezielt an der Verbesserung der schwächsten Fähigkeiten arbeiten sollten, um die Gesamtleistung bei komplexen Aufgaben zu optimieren. Dies könne effektiver sein als eine allgemeine Verbesserung aller Fähigkeiten.
Der Benchmark und mehr Details sind auf GitHub verfügbar.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar“‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnierenKI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.