Inhalt
summary Zusammenfassung

Das auf API-Aufrufe spezialisierte Sprachmodell ToolLLaMA kann über 16.000 APIs zu nutzen und erreicht dabei die Performance von ChatGPT.

Chinesische Forschende haben mit ToolLLM ein Framework vorgestellt, das Open-Source-Modelle bei der Nutzung von APIs auf die Qualität von ChatGPT bringt - ein Aspekt, bei dem diese Modelle bisher weit hinter kommerziellen Angeboten zurücklagen.

ToolLLM basiert auf dem Open-Source-Modell LLaMA. Das Team trainierte das Meta-Modell mit einem hochwertigen Datensatz namens ToolBench, der automatisch mit ChatGPT generiert wurde, um das spezialisierte ToolLLaMA zu erstellen. ToolBench enthält Anweisungen mit entsprechenden API-Aufrufen aus 49 Kategorien.

Eine Anweisung könnte zum Beispiel lauten: "Ich organisiere einen Filmabend und brauche ein paar Filmvorschläge. Kannst du mir die besten Liebesfilme aus den USA heraussuchen und auch noch einen passenden Veranstaltungsort in meiner Nähe finden?" Um eine solche Anweisung zu lösen, muss das Modell die relevanten APIs korrekt aufrufen, zum Beispiel eine API für die Filmsuche und eine API für die Hotelsuche.

Anzeige
Anzeige

Entscheidungsbäume helfen bei Datensatzerstellung

Für die Erstellung des ToolBench-Datensatzes verwendet das Team auch eine Technik namens "Depth-First Search Decision Tree" (DFSDT), die es Sprachmodellen wie GPT-4 ermöglicht, mehrere Suchpfade zu verfolgen, um die beste Lösung für eine API-Anfrage zu finden. Den Forschenden zufolge zeigt DFSDT in Experimenten einen deutlichen Vorteil bei der Lösung schwieriger Aufgaben im Vergleich zum nativen Modell oder anderen Methoden wie Chain-of-Thought-Reasoning.

Um die Fähigkeiten von ToolLLaMA weiter zu verbessern, haben die Forschenden zusätzlich einen neuronalen API-Retriever trainiert, der automatisch relevante APIs für jede Anweisung aus einem gesamten Pool von über 16.000 APIs empfiehlt.

Bild: Qin, Liang et al.

Durch die Integration des Retrievers in ToolLLaMA entsteht eine automatisierte Pipeline für die Nutzung komplexer Werkzeuge ohne die Notwendigkeit einer manuellen API-Auswahl.

ToolLLaMA erreicht bei API-Aufrufen ChatGPT-Qualität

Um die Fähigkeiten von ToolLLaMA zu bewerten, stellt das Team auch einen automatischen Modell-Evaluator namens ToolEval vor. Dieser misst zwei Schlüsselindikatoren - die Erfolgsrate (Fähigkeit, eine Anweisung erfolgreich abzuschließen) und die Gewinnrate (Vergleich der Lösungsqualität mit bestehenden Methoden).

Im ToolEval-Vergleich erreicht das Modell ToolLLaMA eine mit ChatGPT vergleichbare Erfolgsrate, obwohl es mit deutlich weniger Beispielen trainiert wurde. ToolLLaMA kann auch mit vorher unbekannten APIs erfolgreich umgehen, indem es deren Dokumentation liest. Dass das Studium solcher Dokumentationen erfolgreich sein kann, zeigt auch eine kürzlich veröffentlichte Studie von Google.

Empfehlung

Mehr Informationen und Code gibt es auf GitHub.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Chinesische Forschende präsentieren ToolLLaMA, ein Open-Source-Sprachmodell, das über 16.000 APIs aufrufen kann.
  • ToolLLaMA wurde mit einem qualitativ hochwertigen Datensatz namens ToolBench trainiert, der ebenfalls veröffentlicht wurde.
  • ToolLLaMA erreicht eine mit ChatGPT vergleichbare Trefferquote beim Aufruf von APIs und ist in der Lage, durch Dokumentationen auch mit unbekannten APIs umzugehen.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!