Ist OpenChatKit das Stable Diffusion der Chat-Modelle? Noch nicht ganz, doch bis dahin wird es vermutlich nicht mehr lange dauern.
Die Open-Source-Communitiy Together hat mit dem OpenChatKit eine erste quelloffene Alternative zu ChatGPT veröffentlicht. Der Chatbot basiert auf dem 20 Milliarden Parameter umfassenden Sprachmodell GPT-NeoX von EleutherAI und wurde mit 43 Millionen Befehlen für den Chat-Einsatz feinjustiert. Im branchenüblichen HELM-Benchmark schneidet das Chatmodell besser als das Grundmodell ab.
Chatbot mit Zusätzen
Neben dem spezialisierten Sprachmodell GPT-NeoXT-Chat-Base-20B beinhaltet das Kit, das Entwickler:innen auf GitHub kostenlos unter Apache-2.0-Lizenz zur Verfügung steht:
- Methoden zur Anpassung für eigene Anwendungsfälle
- Erweiterbares Abfragesystem, um Bot-Antworten mit Informationen aus einer Dokumentenablage, einer API oder einer anderen sich aktualisierenden Informationsquelle zu ergänzen
- Ein Moderationsmodell, um zu filtern, auf welche Fragen der Bot antworten soll
Außerdem sind Tools integriert, mit denen Nutzer:innen Feedback zu den Antworten des Chatbots geben und neue Datensätze hinzufügen können.
OpenChatKit hat nur begrenzte Fähigkeiten
Stärken sprechen die Entwickler:innen OpenChatKit bei Aufgaben wie Zusammenfassungen und Beantworten von Fragen, wenn Kontext gegeben wird, Informationsextraktion und Textklassifikation zu.
Nicht so überzeugend sei es hingegen bei Fragen ohne Kontext, Coding und kreativem Schreiben, also all den Aufgaben, die ChatGPT zu seiner rasanten Verbreitung verholfen haben - wenngleich auch OpenAIs Chatbot regelmäßig halluziniert. OpenChatKit habe zudem Schwierigkeiten, wenn das Thema mitten in der Konversation wechsele und würde manchmal Antworten wiederholen.
Deutlich bessere Ergebnisse erziele OpenChatKit nach dem Feinjustieren für konkrete Anwendungsfälle. Together arbeite etwa an eigenen Chatbots zum Lernen, zur Finanzberatung und für Supportanfragen.
Im kurzen Test erwies sich OpenChatKit nicht so eloquent wie ChatGPT, was unter anderem damit zusammenhängt, dass Antworten auf 256 Tokens statt rund 500 begrenzt sind. Antworten sind deutlich kürzer, doch dafür generiert OpenChatKit die Antworten merklich schneller. Ein Wechsel der Sprache zwischendrin scheint dem Bot keine Probleme zu bereiten. Formatierungen als Liste oder Tabelle sind ebenfalls möglich.
Together setzt zudem auf User-Feedback, um OpenChatKit weiter zu verbessern.
Ist dezentrales Training von KI-Modellen die Zukunft?
Unabhängig von den Ausgaben ist der Trainingsprozess wegweisend. Wie auch schon bei GPT-JT haben die Entwickler:innen bei OpenChatKit einen dezentralen Ansatz verfolgt und so die benötigte Rechenleistung von einem zentralen Rechenzentrum auf viele Computer verteilt.
Während OpenChatKit das erste Produkt der Open-Source-Welt ist, das ChatGPT nacheifert, wird es sicher nicht das einzige bleiben. Angesichts der erst Anfang des Monats durchgesickerten LLaMa-Modelle von Meta - das größte davon hat drei Mal so viele Parameter wie GPT-NeoX-20B - dürfte es nur noch eine Frage der Zeit sein, bis wir einen Chatbot auf dessen Basis sehen.
OpenChatKit könnt ihr kostenlos auf Hugging Face ausprobieren.