Hugging Face hat das hochoptimierte Mini-Sprachmodell Zephyr-7B entwickelt, das auf Mistral 7B basiert, einem Open-Source-Modell des europäischen Start-ups Mistral AI. Das Modell wurde mit einer Methode namens Destilled Supervised Fine Tuning (dSFT) verfeinert, bei der die Ausgabe eines größeren "Lehrer"-Modells verwendet wird, um ein kleineres "Schüler"-Modell zu trainieren. Das Verfahren der destillierten direkten Präferenzoptimierung (dDPO) nutzt das KI-Feedback aus einer Reihe von Lehrermodellen als Präferenzdaten, wodurch die Trainingszeit und die benötigten Ressourcen erheblich reduziert werden. Zephyr-7B liegt in Benchmarks knapp vor Mistral 7B und kann sogar an Llama-2 mit 70 Milliarden-Parametern heranreichen. Man kann das Modell hier im Chat testen.
Anzeige
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Quellen
News, Tests und Berichte über VR, AR und MIXED Reality.
Meta Quest 3: Home Sports poliert Mixed-Reality-Sport auf Hochglanz
Mixed Reality-Hit bekommt ersten DLC: Infinite Inside's The Lost Depths angekündigt
Meta Quest VR-Brillen verkaufen sich trotz Sonys Riesenrabatt besser als Playstation VR 2
MIXED.de
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!