Iris-mini und Iris-pro: Stärkste offene Suchagenten ihrer Klasse stehen jetzt als Open-Weight-Modelle bereit

In einem neuen Paper beschreibt das chinesische Labor AllSpark zwei Suchagenten unterschiedlicher Größe. Iris-mini hat 35 Milliarden Parameter, Iris-pro kommt auf 397 Milliarden. Beide bauen auf Modellen der Qwen-Reihe auf (Qwen3.6-35B-A3B und Qwen3.5-397B-A17B), arbeiten mit einem Kontextfenster von 256.000 Token und erzielen laut dem Team die stärksten Ergebnisse unter quelloffenen Suchagenten in ihrer jeweiligen Größenklasse.

Fragen rückwärts aus der Linkstruktur des Webs

Für das Training baut eine Pipeline die Aufgaben rückwärts aus der Verlinkung von Webseiten zusammen. Aus einer Startseite und den von ihr ausgehenden Links entsteht ein Netz aus Begriffen und Beziehungen. Daraus wird eine mehrstufige Frage formuliert, deren Lösung mehrere verknüpfte Schritte verlangt.

Jeder Begriff außer der eigentlichen Antwort wird durch eine Umschreibung ersetzt, sodass sich kein Hinweis mehr per einfacher Textsuche auflösen lässt. Der Agent muss also kombinieren statt nachschlagen. Zugelassen werden nur Fragen, die ein Referenzmodell ohne Hilfsmittel nicht lösen kann, mit den passenden Quellen aber schon. So sollen die Aufgaben zugleich schwer und eindeutig überprüfbar sein.

Zweistufige Filterung

Ein stärkeres Lehrermodell erzeugt Lösungswege aus Reasoning, Suchanfragen und Treffern. Sie werden doppelt gefiltert: erst der komplette Lösungsweg nach Korrektheit, Wiederholungsschleifen und Suchtiefe, dann Schritt für Schritt durch ein Prüfmodell. Dessen Kriterien wurden laut Bericht aus den Daten selbst abgeleitet und nicht von Hand vorgegeben.

Danach wird das Modell per Reinforcement Learning gegen eine echte Websuche verbessert. Das bewertende Prüfmodell und die Zusammenfassung der Treffer laufen im Trainingscluster. Dafür setzt das Team ein eigenes großes Qwen-Modell ein, um im Training ohne externe Dienste auszukommen. Überwachtes Training und Reinforcement Learning wechseln sich in einem Verfahren ab, das die Autoren "SFT-RL climbing" nennen. Die schwersten gelösten und effizientesten Lösungswege jeder Runde fließen dabei in den nächsten Trainingsdurchlauf zurück.

Wie viel misst der Benchmark, wie viel das Drumherum?

Das Team argumentiert, dass das sogenannte Context Management zur Laufzeit auf den gängigen Benchmarks oft mehr ausmache als die berichteten Unterschiede zwischen verschiedenen Systemen. Bei langen Recherchen kann der Kontext voll sein, bevor der Agent alle Teilfragen geklärt hat. Tricks wie das Verwerfen der bisherigen Historie verlängern die Recherche künstlich, sagen aber wenig über die tatsächliche Qualität des Modells aus.

Deshalb testet das Team jeden Benchmark mit und ohne Context Management und hält Werkzeuge, Kontextgrenze und Prüfmodell konstant. Ergebnisse, die nur mit aktivierter Verwaltung berichtet werden, lassen sich nicht sauber danach trennen, wie viel Leistung vom Modell und wie viel vom Drumherum kommt. Die Iris-Werte stammen zudem aus einem einzigen Agenten, ohne Hilfsagenten und ohne zusätzliche Prüfschritte am Ende.

Ergebnisse auf vier Benchmarks

Getestet wurde auf BrowseComp, das das Auffinden seltener Fakten anhand indirekter Hinweise prüft, auf dem chinesischen Ableger BrowseComp-ZH, auf DeepSearchQA, das die Vollständigkeit der gefundenen Belege bewertet, sowie auf Humanity's Last Exam mit akademischen Fragen auf Expertenniveau.

Mit aktiviertem Context Management erreicht Iris-mini laut Bericht Werte von 82,2, 84,8, 86,9 und 52,3. Iris-pro kommt auf 88,6, 85,1, 92,9 und 56,4. In der kleineren Klasse führt Iris-mini auf drei der vier Benchmarks und übertrifft das nächststärkste Modell XYZ-Aquila-mini auf BrowseComp um 3,4 Punkte, liegt bei DeepSearchQA aber dahinter. Iris-pro führt in der größeren Klasse oder liegt gleichauf und kommt laut den Autoren teils an Systeme mit deutlich höherem Rechenaufwand heran.

Der Nutzen des Context Managements fällt für das kleinere Modell deutlich größer aus, auf BrowseComp um bis zu 21,2 Punkte. Der Grund liegt laut Bericht nicht im Budget, sondern im Tempo des Verbrauchs. Iris-mini brauche mehr Schritte für dieselben Aufgaben und stoße daher öfter an die Kontextgrenze.

Bei Humanity's Last Exam fällt der Zugewinn kleiner aus, weil der Benchmark laut Bericht stärker Fachwissen und akademisches Reasoning betont und Websuche dort eher ergänzend wirkt. Die besten Werte liefert eine Kombination aus Verwerfen der Historie und einem zweiten Anlauf. Scheitert der erste Versuch, fasst das System ihn zu einer kurzen Notiz zusammen, die festhält, was bereits geprüft und ausgeschlossen wurde. Sie wird für den nächsten Durchgang an die Aufgabe angehängt.

Wenn die Musterlösung falsch ist

Im Anhang beschreibt das Team einen Fall, in dem sein Agent aus Sicht der offiziellen Wertung falsch lag, obwohl die Antwort durch die Quelle gedeckt war. Eine Frage in BrowseComp-ZH zielte auf die Serie "Game of Thrones". Der Agent antwortete "Bolton", die Musterlösung lautete "Lannister". Tatsächlich heiratet die gefragte Figur Sansa Stark in ihrer zweiten Ehe aber Ramsay Bolton. Die Antwort des Agenten war also korrekt. Solche Widersprüche zwischen Musterlösung und Quellmaterial seien für das Team ein Anlass, bessere Benchmarks zu entwickeln.

Über die Suche hinaus berichten die Autoren von einem Nebeneffekt. Sowohl die erzeugten Trainingsdaten als auch die spezialisierten Modelle hätten sich positiv auf Aufgaben ausgewirkt, für die sie gar nicht trainiert wurden, etwa allgemeine Werkzeugnutzung und Büroarbeit. Suche sei damit womöglich eher eine grundlegende Fähigkeit als eine enge Spezialisierung, weil das erlernte Verhalten überall dort helfe, wo ein Agent mit unvollständigen Informationen umgehen müsse.

Die Modellgewichte für Iris-mini und Iris-pro liegen in einer Sammlung auf Hugging Face, der Code steht auf GitHub. Enthalten sind bislang das Iris-Harness mit Agentenschleife, Werkzeugen, Strategien zur Kontextverwaltung und die vier Benchmarks samt Bewertung. Das Harness läuft gegen jeden OpenAI-kompatiblen Endpunkt. Die Pipelines für Datenkonstruktion und Training will das Team nachreichen.