Inhalt
summary Zusammenfassung

Ist OpenChatKit das Stable Diffusion der Chat-Modelle? Noch nicht ganz, doch bis dahin wird es vermutlich nicht mehr lange dauern.  

Anzeige

Die Open-Source-Communitiy Together hat mit dem OpenChatKit eine erste quelloffene Alternative zu ChatGPT veröffentlicht. Der Chatbot basiert auf dem 20 Milliarden Parameter umfassenden Sprachmodell GPT-NeoX von EleutherAI und wurde mit 43 Millionen Befehlen für den Chat-Einsatz feinjustiert. Im branchenüblichen HELM-Benchmark schneidet das Chatmodell besser als das Grundmodell ab.

Chatbot mit Zusätzen

Neben dem spezialisierten Sprachmodell GPT-NeoXT-Chat-Base-20B beinhaltet das Kit, das Entwickler:innen auf GitHub kostenlos unter Apache-2.0-Lizenz zur Verfügung steht:

  • Methoden zur Anpassung für eigene Anwendungsfälle
  • Erweiterbares Abfragesystem, um Bot-Antworten mit Informationen aus einer Dokumentenablage, einer API oder einer anderen sich aktualisierenden Informationsquelle zu ergänzen
  • Ein Moderationsmodell, um zu filtern, auf welche Fragen der Bot antworten soll

Außerdem sind Tools integriert, mit denen Nutzer:innen Feedback zu den Antworten des Chatbots geben und neue Datensätze hinzufügen können.

Anzeige
Anzeige

OpenChatKit hat nur begrenzte Fähigkeiten

Stärken sprechen die Entwickler:innen OpenChatKit bei Aufgaben wie Zusammenfassungen und Beantworten von Fragen, wenn Kontext gegeben wird, Informationsextraktion und Textklassifikation zu.

Nicht so überzeugend sei es hingegen bei Fragen ohne Kontext, Coding und kreativem Schreiben, also all den Aufgaben, die ChatGPT zu seiner rasanten Verbreitung verholfen haben - wenngleich auch OpenAIs Chatbot regelmäßig halluziniert. OpenChatKit habe zudem Schwierigkeiten, wenn das Thema mitten in der Konversation wechsele und würde manchmal Antworten wiederholen.

Deutlich bessere Ergebnisse erziele OpenChatKit nach dem Feinjustieren für konkrete Anwendungsfälle. Together arbeite etwa an eigenen Chatbots zum Lernen, zur Finanzberatung und für Supportanfragen.

Im kurzen Test erwies sich OpenChatKit nicht so eloquent wie ChatGPT, was unter anderem damit zusammenhängt, dass Antworten auf 256 Tokens statt rund 500 begrenzt sind. Antworten sind deutlich kürzer, doch dafür generiert OpenChatKit die Antworten merklich schneller. Ein Wechsel der Sprache zwischendrin scheint dem Bot keine Probleme zu bereiten. Formatierungen als Liste oder Tabelle sind ebenfalls möglich.

Together setzt zudem auf User-Feedback, um OpenChatKit weiter zu verbessern.

Empfehlung

Ist dezentrales Training von KI-Modellen die Zukunft?

Unabhängig von den Ausgaben ist der Trainingsprozess wegweisend. Wie auch schon bei GPT-JT haben die Entwickler:innen bei OpenChatKit einen dezentralen Ansatz verfolgt und so die benötigte Rechenleistung von einem zentralen Rechenzentrum auf viele Computer verteilt.

Während OpenChatKit das erste Produkt der Open-Source-Welt ist, das ChatGPT nacheifert, wird es sicher nicht das einzige bleiben. Angesichts der erst Anfang des Monats durchgesickerten LLaMa-Modelle von Meta - das größte davon hat drei Mal so viele Parameter wie GPT-NeoX-20B - dürfte es nur noch eine Frage der Zeit sein, bis wir einen Chatbot auf dessen Basis sehen.

OpenChatKit könnt ihr kostenlos auf Hugging Face ausprobieren.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Together hat ein Sprachmodell für den Einsatz als Chatbot trainiert und den Quellcode veröffentlicht.
  • Darüber hinaus liefern die Entwickler:innen Anleitungen zum Spezialisieren für eigene Anwendungsfälle, ein Abfragesystem für dynamische Inhalte und ein Modell zur Moderation der Eingaben.
  • OpenChatKit erreicht nicht die Qualität von ChatGPT, User-Feedback soll es aber verbessern.
Jonathan ist Technikjournalist und beschäftigt sich stark mit Consumer Electronics. Er erklärt seinen Mitmenschen, wie KI bereits heute nutzbar ist und wie sie im Alltag unterstützen kann.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!