Hugging Face hat das hochoptimierte Mini-Sprachmodell Zephyr-7B entwickelt, das auf Mistral 7B basiert, einem Open-Source-Modell des europäischen Start-ups Mistral AI. Das Modell wurde mit einer Methode namens Destilled Supervised Fine Tuning (dSFT) verfeinert, bei der die Ausgabe eines größeren "Lehrer"-Modells verwendet wird, um ein kleineres "Schüler"-Modell zu trainieren. Das Verfahren der destillierten direkten Präferenzoptimierung (dDPO) nutzt das KI-Feedback aus einer Reihe von Lehrermodellen als Präferenzdaten, wodurch die Trainingszeit und die benötigten Ressourcen erheblich reduziert werden. Zephyr-7B liegt in Benchmarks knapp vor Mistral 7B und kann sogar an Llama-2 mit 70 Milliarden-Parametern heranreichen. Man kann das Modell hier im Chat testen.

Anzeige
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!