Hugging Face hat das hochoptimierte Mini-Sprachmodell Zephyr-7B entwickelt, das auf Mistral 7B basiert, einem Open-Source-Modell des europäischen Start-ups Mistral AI. Das Modell wurde mit einer Methode namens Destilled Supervised Fine Tuning (dSFT) verfeinert, bei der die Ausgabe eines größeren "Lehrer"-Modells verwendet wird, um ein kleineres "Schüler"-Modell zu trainieren. Das Verfahren der destillierten direkten Präferenzoptimierung (dDPO) nutzt das KI-Feedback aus einer Reihe von Lehrermodellen als Präferenzdaten, wodurch die Trainingszeit und die benötigten Ressourcen erheblich reduziert werden. Zephyr-7B liegt in Benchmarks knapp vor Mistral 7B und kann sogar an Llama-2 mit 70 Milliarden-Parametern heranreichen. Man kann das Modell hier im Chat testen.
Anzeige
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Quellen
News, Tests und Berichte über VR, AR und MIXED Reality.
Ich habe die Meta Quest 3S ausprobiert und zu diesem Preis ist sie unschlagbar
Meta Quest 3S vorbestellen und VR-Hit Batman: Arkham Shadow gratis sichern
Eines der besten VR-Spiele aller Zeiten kostet gerade nur 9 Euro
MIXED.de
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!