Nous Research hat mit Hermes 3 eine Familie von neutralen Instruct-Modellen auf Basis von Metas Llama-3.1-Modellen veröffentlicht. Die Modelle erzielen in mehreren öffentlichen Benchmarks Spitzenwerte unter Open-Source-Modellen.
Nous Research, ein KI-Forschungsunternehmen, hat eine neue Familie von Sprachmodellen namens Hermes 3 veröffentlicht. Die Modelle zeichnen sich laut dem technischen Bericht durch hohe Steuerbarkeit und neutrale Ausrichtung aus.
Hermes 3 umfasst Instruct-Modelle in den Größen 8, 70 und 405 Milliarden Parameter und basiert auf dem Open-Source-Modell Llama 3.1 von Meta. Die Modelle sollen Anweisungen genau befolgen und sich insbesondere an die im System-Prompt vorgegebene Weltsicht anpassen.
Damit unterscheidet sich Hermes 3 von proprietären kommerziellen Modellen, die möglicherweise aus moralischen Gründen Anweisungen verweigern. Für Hermes 3 gebe es kein "latentes Gedankenverbrechen", wie es im Bericht heißt.
Hermes 3 übertrifft Metas Llama 3.1
Laut Nous Research beherrscht Hermes 3 Fähigkeiten wie Reasoning, Reward-Modellierung, "Scratchpads" für Zwischenergebnisse, strukturierte Ausgabe mit XML-Tags, Generierung von internen Monologen für transparente Entscheidungsfindung sowie Mermaid-Diagramme zur visuellen Kommunikation.
Das Training erfolgte in zwei Phasen: einer überwachten Finetuning-Phase (SFT) und einer Phase mit Direct Preference Optimization (DPO). Für die SFT-Phase wurden knapp 400 Millionen Token verwendet. Die Modelle wurden Epoch-weise evaluiert und die besten Checkpoints für das 8B- und das 405B-Modell ausgewählt.
In mehreren öffentlichen Benchmarks wie ARC, BoolQ, HellaSwag, IFEval und Winogrande erzielen die Hermes-3-Modelle Spitzenwerte unter Modellen mit offenen Gewichten - auch im Vergleich zu den zugrundeliegenden Modellen von Meta.
Dafür wurde ein Mix aus synthetisch erstellten Reasoning-Aufgaben und expressiven Anwendungen wie Rollenspiel und kreatives Schreiben trainiert.
Die Modelle können auch externe Tools benutzen und mittels "Retrieval Augmented Generation" Informationen aus Dokumenten zitieren, um Fragen zu beantworten.
Die Hermes-3-Modelle sind auf Hugging Face verfügbar.
