Hermes 3: Neutrale KI-Modelle kennen kein "latentes Gedankenverbrechen"
Nous Research hat mit Hermes 3 eine Familie von neutralen Instruct-Modellen auf Basis von Metas Llama-3.1-Modellen veröffentlicht. Die Modelle erzielen in mehreren öffentlichen Benchmarks Spitzenwerte unter Open-Source-Modellen.
Nous Research, ein KI-Forschungsunternehmen, hat eine neue Familie von Sprachmodellen namens Hermes 3 veröffentlicht. Die Modelle zeichnen sich laut dem technischen Bericht durch hohe Steuerbarkeit und neutrale Ausrichtung aus.
Hermes 3 umfasst Instruct-Modelle in den Größen 8, 70 und 405 Milliarden Parameter und basiert auf dem Open-Source-Modell Llama 3.1 von Meta. Die Modelle sollen Anweisungen genau befolgen und sich insbesondere an die im System-Prompt vorgegebene Weltsicht anpassen.
Damit unterscheidet sich Hermes 3 von proprietären kommerziellen Modellen, die möglicherweise aus moralischen Gründen Anweisungen verweigern. Für Hermes 3 gebe es kein "latentes Gedankenverbrechen", wie es im Bericht heißt.
Hermes 3 übertrifft Metas Llama 3.1
Laut Nous Research beherrscht Hermes 3 Fähigkeiten wie Reasoning, Reward-Modellierung, "Scratchpads" für Zwischenergebnisse, strukturierte Ausgabe mit XML-Tags, Generierung von internen Monologen für transparente Entscheidungsfindung sowie Mermaid-Diagramme zur visuellen Kommunikation.
Das Training erfolgte in zwei Phasen: einer überwachten Finetuning-Phase (SFT) und einer Phase mit Direct Preference Optimization (DPO). Für die SFT-Phase wurden knapp 400 Millionen Token verwendet. Die Modelle wurden Epoch-weise evaluiert und die besten Checkpoints für das 8B- und das 405B-Modell ausgewählt.
In mehreren öffentlichen Benchmarks wie ARC, BoolQ, HellaSwag, IFEval und Winogrande erzielen die Hermes-3-Modelle Spitzenwerte unter Modellen mit offenen Gewichten - auch im Vergleich zu den zugrundeliegenden Modellen von Meta.
Dafür wurde ein Mix aus synthetisch erstellten Reasoning-Aufgaben und expressiven Anwendungen wie Rollenspiel und kreatives Schreiben trainiert.
Die Modelle können auch externe Tools benutzen und mittels "Retrieval Augmented Generation" Informationen aus Dokumenten zitieren, um Fragen zu beantworten.
Die Hermes-3-Modelle sind auf Hugging Face verfügbar.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar“‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnierenKI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.