Hermes 3: Neutrale KI-Modelle kennen kein "latentes Gedankenverbrechen"
Kurz & Knapp
- Nous Research hat mit Hermes 3 eine Familie von neutralen und steuerbaren Instruct-Modellen auf Basis von Metas Llama-3.1-Modellen in den Größen 8, 70 und 405 Milliarden Parameter veröffentlicht.
- Die Modelle sollen Anweisungen genau befolgen, sich an vorgegebene Weltsichten anpassen und erzielen in öffentlichen Benchmarks wie ARC, BoolQ, HellaSwag, IFEval und Winogrande Spitzenwerte unter Open-Source-Modellen.
- Hermes 3 beherrscht Fähigkeiten wie Reasoning, Reward-Modellierung, strukturierte Ausgabe mit XML-Tags und Mermaid-Diagrammen und wurde in zwei Phasen mit überwachtem Finetuning und Direct Preference Optimization trainiert. Die Modelle sind auf Hugging Face verfügbar.
Nous Research hat mit Hermes 3 eine Familie von neutralen Instruct-Modellen auf Basis von Metas Llama-3.1-Modellen veröffentlicht. Die Modelle erzielen in mehreren öffentlichen Benchmarks Spitzenwerte unter Open-Source-Modellen.
Nous Research, ein KI-Forschungsunternehmen, hat eine neue Familie von Sprachmodellen namens Hermes 3 veröffentlicht. Die Modelle zeichnen sich laut dem technischen Bericht durch hohe Steuerbarkeit und neutrale Ausrichtung aus.
Hermes 3 umfasst Instruct-Modelle in den Größen 8, 70 und 405 Milliarden Parameter und basiert auf dem Open-Source-Modell Llama 3.1 von Meta. Die Modelle sollen Anweisungen genau befolgen und sich insbesondere an die im System-Prompt vorgegebene Weltsicht anpassen.
Damit unterscheidet sich Hermes 3 von proprietären kommerziellen Modellen, die möglicherweise aus moralischen Gründen Anweisungen verweigern. Für Hermes 3 gebe es kein "latentes Gedankenverbrechen", wie es im Bericht heißt.
Hermes 3 übertrifft Metas Llama 3.1
Laut Nous Research beherrscht Hermes 3 Fähigkeiten wie Reasoning, Reward-Modellierung, "Scratchpads" für Zwischenergebnisse, strukturierte Ausgabe mit XML-Tags, Generierung von internen Monologen für transparente Entscheidungsfindung sowie Mermaid-Diagramme zur visuellen Kommunikation.
Das Training erfolgte in zwei Phasen: einer überwachten Finetuning-Phase (SFT) und einer Phase mit Direct Preference Optimization (DPO). Für die SFT-Phase wurden knapp 400 Millionen Token verwendet. Die Modelle wurden Epoch-weise evaluiert und die besten Checkpoints für das 8B- und das 405B-Modell ausgewählt.
In mehreren öffentlichen Benchmarks wie ARC, BoolQ, HellaSwag, IFEval und Winogrande erzielen die Hermes-3-Modelle Spitzenwerte unter Modellen mit offenen Gewichten - auch im Vergleich zu den zugrundeliegenden Modellen von Meta.
Dafür wurde ein Mix aus synthetisch erstellten Reasoning-Aufgaben und expressiven Anwendungen wie Rollenspiel und kreatives Schreiben trainiert.
Die Modelle können auch externe Tools benutzen und mittels "Retrieval Augmented Generation" Informationen aus Dokumenten zitieren, um Fragen zu beantworten.
Die Hermes-3-Modelle sind auf Hugging Face verfügbar.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.