Inhalt
summary Zusammenfassung

Es gibt zahlreiche kommerzielle Angebote und Open-Source-Modelle für generative Text-KIs. Ein speziell für Assistenzaufgaben entwickelter Benchmark zeigt nun, dass GPT-4 in diesem Segment herausragt.

Anzeige

"AgentBench" ist ein standardisierter Test, der speziell für die Assistenzfunktion großer Sprachmodelle in "realistischen pragmatischen Missionen" entwickelt wurde. Alle Tests finden in interaktiven Echtzeitumgebungen statt. Dadurch soll der Benchmark für das, was er messen soll, besonders geeignet sein: Wie gut ein großes Sprachmodell eine Vielzahl von Alltagsaufgaben in den insgesamt acht folgenden Bereichen bewältigen kann.

  • Betriebssystem: Hier müssen die LLMs Aufgaben erledigen, die mit der Benutzung eines Computer-Betriebssystems zusammenhängen.
  • Datenbank: In dieser Umgebung geht es darum, wie gut LLMs mit Datenbanken umgehen können.
  • Wissensgraph: In dieser Umgebung wird geprüft, wie gut LLMs mit Wissensgraphen arbeiten können. Wissensgraphen sind wie ein Netzwerk, das verschiedene Dinge miteinander verbindet und Wissen in einer für Menschen lesbaren Weise darstellt.
  • Digitales Kartenspiel: Hier wird getestet, wie gut LLMs digitale Kartenspiele verstehen und Strategien entwickeln können.
  • Querdenker-Rätsel: Diese Herausforderung testet, wie kreativ LLMs bei der Lösung von Problemen sein können. Hier müssen sie originell denken.
  • Budgets: In diesem Szenario geht es um Aufgaben, die in einem Haushalt anfallen, basierend auf dem Alfworld-Datensatz.
  • Internet-Shopping: Dieses Szenario testet, wie gut LLMs bei Aufgaben im Zusammenhang mit Online-Einkäufen abschneiden.
  • Web-Browsing: Auf der Grundlage des Mind2Web-Datensatzes wird überprüft, wie gut LLMs Aufgaben erledigen können, die mit der Nutzung des Internets zusammenhängen.

Video: AgentBench

GPT-4 mit großem Abstand das fähigste KI-Modell

Insgesamt testete das Forscherteam der Tsinghua University, der Ohio State University und der UC Berkeley 25 große Sprachmodelle verschiedener Hersteller sowie Open-Source-Modelle.

Anzeige
Anzeige

Das Ergebnis: OpenAIs GPT-4 erzielte die höchste Gesamtpunktzahl von 4,41 und lag in fast allen Disziplinen vorn. Lediglich bei der Aufgabe Web-Shopping schnitt GPT-3.5 am besten ab.

Das Modell Claude des Mitbewerbers Anthropic folgt mit einer Gesamtpunktzahl von 2,77 knapp vor dem freien Modell GPT-3.5 Turbo von OpenAI. Der Durchschnitt der kommerziellen Modelle liegt bei 2,24 Punkten.

Bild: AgentBench Paper

Noch deutlicher ist der Abstand von GPT-4 und generell der kommerziellen Modelle zu den Open-Source-Modellen: Hier beträgt die durchschnittliche Leistung nur 0,42 Punkte. Die Open-Source-Modelle versagen in der Regel bei allen komplexen Aufgaben und liegen weit hinter GPT-3.5. Am besten schneidet OpenChat auf Basis von Llama-13B mit 1,15 Punkten ab.

Wir stellen fest, dass Spitzen-LLMs immer besser in der Lage sind, komplexe reale Aufgaben zu bewältigen. Ihre Open-Source-Konkurrenten haben im Vergleich noch einen weiten Weg vor sich.

Aus dem Paper

In der vorläufigen Ergebnisliste fehlen zahlreiche kommerzielle Modelle wie PaLM 2 von Google, Claude 2 oder die Modelle von Aleph Alpha sowie weitere Open-Source-Modelle.

Bild: AgentBench Paper

Das Forschungsteam stellt der Forschungsgemeinschaft daher ein Toolkit, die Datensätze und die Benchmark-Umgebung für zukünftige Leistungsvergleiche bei Github zur Verfügung. Weitere Informationen und eine Demo gibt es auf der Projektwebseite.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Empfehlung
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • AgentBench ist ein standardisierter Test für die Assistenzfunktion großer Sprachmodelle, der insgesamt acht Alltagsbereiche abdeckt, darunter Betriebssysteme, Datenbanken, kreative Lösungen und Internet-Shopping.
  • Insgesamt testete das Team 25 Sprachmodelle, wobei OpenAIs GPT-4 die höchste Gesamtpunktzahl von 4,41 erreichte und in fast allen Bereichen an der Spitze lag.
  • Die Forscher stellen der Forschungsgemeinschaft ein Toolkit, Datensätze und die Benchmark-Umgebung für zukünftige Leistungsvergleiche über Github zur Verfügung, um weitere kommerzielle und Open-Source-Modelle zu testen.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!