KI-Recherche: Die falschen Antworten haben die besseren Links

Recherche gehört zu den häufigsten Anwendungen von KI-Chatbots. Aber wie verlässlich sind die Modelle dabei? In zwei Minuten fand eines eine Quelle, die wir selbst nicht kannten. In einem anderen Lauf nannte dasselbe Modell eine Quelle, die Jahre zu spät ansetzt. Knapp 60 Durchläufe mit ChatGPT, Claude und Gemini zeigen, was KI-Recherche heute leistet, warum die falschen Antworten oft überzeugender aussehen als die richtigen und welche acht Regeln helfen. Zwei Minuten und fünf Sekunden benötigte GPT-5.6 Sol auf hoher Denkstufe, um eine Vorlesungs-PDF aus Princeton zu finden. Sie enthält eine frühere Erwähnung von "Context Engineering" als die Quelle, die wir bis dahin als richtige Antwort geführt hatten. In einem anderen Durchlauf benötigte dasselbe Modell auf derselben Stufe 11:47 Minuten und nannte einen Beitrag, der Jahre später erschienen ist. Diese beiden Läufe zeigen das zentrale Ergebnis unserer kleinen Testreihe: Die Modelle können Quellen finden, die unsere Recherche verbessern. Auf einen einzelnen Durchlauf können wir uns nicht verlassen. Im Folgenden beschreiben wir kurz, was wir herausgefunden haben und was wir empfehlen. Im Anschluss gibt es für diejenigen, die mehr wissen wollen, eine ausführlichere Darstellung. Was wir gemacht haben Wir haben Sprachmodellen eine Rechercheaufgabe gestellt, deren Antwort wir zu kennen glaubten: Wer hat zuerst das Wort 'Context Engineering' im Kontext des 'Prompt Engineering' erwähnt? Bitte finde ausschließlich die Primärquelle. Die Frage ist bewusst schwer. Der Begriff wird seit 2025 breit diskutiert, ist aber älter, und in ganz anderer Bedeutung schon deutlich früher in Gebrauch. Ein Modell muss alte Fundstellen aufspüren, prüfen, ob der Begriff dort im gemeinten Sinn steht, und darf sich nicht mit dem ersten bekannten Namen zufriedengeben. 61 Läufe in ChatGPT oder per API beim jeweiligen Anbieter über heise I/O, jeweils mit aktivierter Websuche. 53 Läufe mit dem kurzen Auftrag oben, sechs mit dem ausführlichen Recherche-Spürhund-Prompt, zwei mit Deep Research. Je fünfmal: GPT-6 Astra (Mittel und Hoch), GPT-5.6 Sol (Hoch), Claude Opus 5, Opus 5 Thinking (Hoch) und Gemini 3.8 Flash. Dazu Einzelläufe mit weiteren Modellen und Denkstufen. Als Treffer zählte ein X-Beitrag vom Januar 2023, die bis dahin älteste uns bekannte Erwähnung, oder die erst im Test entdeckte Princeton-PDF vom März 2022. Das Ergebnis 13 Treffer in 61 Läufen, alle von OpenAI-Modellen. GPT-6 Astra auf Stufe Hoch traf viermal in fünf Läufen und brauchte dafür jeweils unter drei Minuten. Claude Opus 5, Opus 5 Thinking und Gemini 3.8 Flash blieben in 16 Läufen ohne Treffer und nannten stets einen von drei bekannten Beiträgen aus dem Jahr 2025. Unsere Referenzantwort war nicht die älteste Quelle. Ein Lauf mit GPT-5.6 Sol fand eine Vorlesungsfolie der Princeton University vom März 2022, auf der "prompt/context engineering" bereits steht, zehn Monate vor dem X-Beitrag, den wir als frühesten Beleg geführt hatten. Zwei ältere Modelle fanden die Folie ebenfalls, allerdings nur mit dem ausführlichen Prompt. Dauer und Denkstufe sagen nichts über die Qualität. Astra auf den Stufen Sehr hoch, Max und Ultra traf gar nicht. Der schnellste Sol-Lauf lieferte den besten Fund der Reihe, die längeren Läufe desselben Modells lagen daneben. Deep Research suchte 11 und 20 Minuten und nannte beide Male dieselbe falsche Quelle. Übereinstimmung ist kein Beleg. Die beiden Deep-Research-Läufe waren sich einig und lagen falsch. Gemini lieferte auf fünf identische Aufträge drei verschiedene Antworten, alle falsch. Die falschen Antworten hatten die besseren Links. Jede Fehlantwort verwies auf eine echte, prominente Quelle: den Tweet eines Konzernchefs, den Wikipedia als Begriffsprägung führt, einen vielfach zitierten Blogbeitrag, ein populäres Manifest auf GitHub. Die richtigen Antworten verwiesen auf einen kaum bekannten X-Account und eine Vorlesungsfolie. In allen Quellen kommt "Context Engineering" vor, und alle belegen nur das: dass der Begriff dort steht, und wann. Dass es die erste Erwähnung sei, behauptet in jedem Fall das Modell. Wer nur die Links prüft, sieht den Begriff bestätigt, nicht die Behauptung. Was wir daraus mitnehmen Mit Astra Hoch beginnen. In unserem Test das beste Verhältnis aus Trefferquote, Dauer und Kosten: Ein normales ChatGPT-Abo reicht. Die schnellen Varianten Gemini 3.8 Flash und Opus 5 trafen nie, ein Reasoning-Modus allein garantiert aber nichts, wie Opus 5 Thinking zeigt. Die höchste Denkstufe ist nicht der beste Startpunkt: Die Princeton-PDF kam von Sol Hoch, nicht von Sol Max. Astra Ultra lag ebenfalls daneben. Den Auftrag ausführlich machen. Was ist gemeint, was zählt nicht, was soll die Antwort enthalten: Datum, Wortlaut, Link zur Primärquelle. Mit dem ausführlichen Recherche-Spürhund-Prompt fanden auch ältere Modelle den Beleg, die mit dem Kurzauftrag scheiterten. Wichtige Fragen mehrfach laufen lassen, jede Wiederholung in einer frischen Sitzung, gegebenenfalls mit einem zweiten System. Im laufenden Chat baut das Modell auf seinen früheren Antworten auf, auch auf den falschen. Originalquellen vergleichen: Datum, Version, Wortlaut, Bedeutung. Übereinstimmende Antworten sind kein Ersatz für Belege. Vor dem Schließen der Sitzung einmal widerlegen lassen: "Versuche, diese Erstnennung durch einen älteren Beleg zu widerlegen." Das ist präziser als die Bitte, noch einmal gründlicher zu recherchieren. In einem Astra-Hoch-Lauf brachte der Folgeauftrag nichts Neues, in einem Astra-Mittel-Lauf führte er das Modell erst zum älteren X-Beitrag. Prüfen, ob die Antwort die gestellte Frage beantwortet oder eine benachbarte, besser dokumentierte. Wer nach der ersten Erwähnung fragt, dann aber eine Antwort auf "Wer hat den Begriff geprägt?" bekommt, hat kein Ergebnis. Nicht nur die gelieferten Links öffnen, und sich von ihnen nicht beeindrucken lassen. Jeder Link kann echt und die Quelle prominent sein, während die Antwort auf "Wer war zuerst?" falsch bleibt. In unserem Test verwiesen die falschen Antworten auf den Tweet eines Konzernchefs, die richtigen auf eine Vorlesungsfolie. In keiner der beiden Quellen steht, dass sie die erste ist. Das behauptet allein das Modell, und genau diese Behauptung muss man prüfen: mit eigenen Suchbegriffen, anderen Dokumenttypen, eigenen Spuren. Das eigene Werkzeug so testen wie hier: eine schwierige Frage mit bekannter Antwort, mehrfach durch jedes System. Wer per API oder mit einem eigenen Agenten arbeitet, testet dabei auch die Suchkomponente. Der Test kostet einen Nachmittag. Fazit Nach unserer Erfahrung sind die Modelle für weniger esoterische Recherchen längst besser als eine Google-Suche, wenn man die Zeit einrechnet: Sie umgehen SEO-Texte und lesen mehr Quellen schneller, als ein Mensch es könnte. Dass eines von ihnen eine uns unbekannte Vorlesungsfolie von 2022 von einem Universitätsserver zog, zeigt, wie weit die Fähigkeiten reichen. Zuverlässig sind sie nicht. Vier von fünf Läufen lieferten eine falsche Antwort, und die stützte sich auf prominentere Quellen als die richtige. Die Forschung kennt beide Muster: Suchagenten bestätigen bevorzugt, was sie schon wissen, und verlinken echte Quellen für Behauptungen, die diese nicht belegen. Die Verbesserung kommt nicht auf Abruf, sondern durch Wiederholung, Vergleich und gezieltes Widerlegen. Kurz: Das Werkzeug gehört in jede Recherche, aber nie als letzter Schritt. Was es liefert, ist ein Kandidat, keine Antwort. Zur Antwort wird er erst durch Wiederholung, Vergleich und den Versuch, ihn zu widerlegen. Im Detail: Wie die Modelle suchten und woran sie scheiterten Die Frage und warum sie schwer ist Wir verwenden diese Frage seit Längerem, weil wir wissen, dass sie schwierig ist. Eine Antwort muss den passenden Begriffsgebrauch belegen und frühere Erwähnungen ausschließen. Einen bekannten Namen aus der Debatte zu nennen, reicht nicht. Erschwerend kommt hinzu, dass das Wortpaar älter ist als die Sprachmodelle: Der Londoner Forscher Carl H. Smith verwendet "Context Engineering" seit spätestens 2015 für eine Praxis des Experience Design mit AR- und Sensortechnik, 2016 veröffentlichte er ein "Context Engineering Experience Framework". Ein Modell muss also nicht nur alte Fundstellen aufspüren, sondern prüfen, ob der Begriff dort im gemeinten Sinn steht: als Nachbar oder Gegenstück des Prompt Engineering für Sprachmodelle. Drei Antworten, die zu spät ansetzen Mehrere Modelle nennen den Beitrag von Shopify-Chef Tobi Lütke auf X vom Juni 2025. Das liegt nahe, schließlich schreibt auch der deutsche Wikipedia-Artikel zu Context Engineering ihm in der hier geprüften Fassung die Prägung des Begriffs zu. Wer nur diese beiden Seiten liest, könnte die Recherche an dieser Stelle beenden. Riley Goodside verwendete "context engineering" allerdings schon am 23. Januar 2023 in einem Beitrag auf Hacker News, als Teilaufgabe innerhalb des Prompt Engineering, abgegrenzt vom Formulieren klarer Anweisungen. Diesen Beitrag hatte unser Kollege Matthias Bastian im Oktober 2025 in seinem Prompt-Tipp zum Recherche-Spürhund gezeigt, verbunden mit dem Hinweis, dass ein gefundener Originalbeitrag noch nicht beweise, wirklich der erste zu sein. Bei späteren Wiederholungen mit neueren Modellen stieß er auf einen Beitrag des Accounts @cdossman vom selben Tag. Der X-Beitrag ist rund drei Stunden älter und schlägt die Bezeichnung Context Engineering ausdrücklich vor. Er war vor der aktuellen Testreihe unsere Referenzantwort. Wer ihn fand, bekam ein "Ja". Goodside allein genügte nicht mehr. Der Princeton-Fund: Unsere Referenz war nicht die älteste Quelle Erst jetzt fanden Modelle eine uns unbekannte, noch ältere Quelle: die Vorlesungsfolien "L15: Contextualized Embeddings and Pre-training" aus dem Princeton-Kurs COS 484. Auf Seite 27 steht unter der Überschrift GPT-3: "Started a new direction around 'prompt/context engineering'". Kursplan sowie Erstellungs- und Änderungsdaten der PDF ordnen die Vorlesung dem 29. März 2022 zu. GPT-5.4 Thinking und GPT-5.5 Thinking lieferten diesen Fund mit dem Recherche-Spürhund. GPT-5.6 Sol Hoch fand ihn auch ohne den Zusatzprompt, im eingangs erwähnten Lauf von 2:05 Minuten. Dieser Lauf nannte den X-Beitrag als frühe Quelle und wies zugleich auf die ältere Folie hin. Zur Einordnung: Auf der Folie steht der Begriff nicht so eigenständig wie später bei Lütke, und @cdossman kommt dem heutigen Gebrauch näher, weil er die Bezeichnung ausdrücklich vorschlägt. Gemeint ist aber erkennbar dasselbe: Die Folie behandelt das Lernen anhand von Beispielen im Kontextfenster und stellt es dem Fine-Tuning gegenüber. Damit ist sie der früheste uns bekannte Beleg für diesen Begriffsgebrauch. Eine noch ältere Quelle ist nicht ausgeschlossen. Unsere Referenz jedenfalls, die bis zu dieser Testreihe als gesichert galt, war es nicht. Zeitleiste der Belege Datum Quelle Rolle im Test 29.03.2022 Princeton COS 484, Folie 27: "prompt/context engineering" Frühester bekannter Beleg, in dieser Testreihe gefunden 23.01.2023, 17:23 UTC @cdossman auf X schlägt "Context Engineering" vor Referenzantwort 23.01.2023, 20:24 UTC Riley Goodside auf Hacker News Seit Oktober 2025 bekannt, zählte nicht mehr als Treffer Dezember 2023 Qinghua Lu et al., arXiv, Version 3 Vereinzelte Fehlantwort April 2025 Dex Horthy, 12-Factor Agents Häufige Fehlantwort 12.06.2025 Walden Yan, Cognition Häufige Fehlantwort 19.06.2025 Tobi Lütke auf X Häufigste Fehlantwort, laut Wikipedia "Prägung" Nur jeder fünfte Durchlauf trifft Insgesamt stehen 13 Treffer in 61 Läufen. Die Tabelle zeigt die Konfigurationen, die mit dem kurzen Auftrag mindestens einmal trafen. Konfiguration Treffer / Läufe Gefundene Quelle GPT-6 Astra Hoch 4 / 5 X-Beitrag von Januar 2023 GPT-6 Astra Mittel 2 / 5 X-Beitrag von Januar 2023 GPT-5.6 Sol Hoch 2 / 5 X-Beitrag; in einem Lauf zusätzlich die ältere Princeton-PDF GPT-5.6 Sol Max 2 / 2 X-Beitrag von Januar 2023 Mit dem Recherche-Spürhund-Prompt trafen in heise I/O zusätzlich GPT-5.1, GPT-5.4 Thinking und GPT-5.5 Thinking, die beiden letzten inklusive Princeton-PDF. Ohne Treffer blieben GPT-5.5 mit dem Kurzauftrag in allen Varianten, GPT-5.6 Luna und Terra, Astra auf Sehr hoch, Max und Ultra, ein Perplexity-Lauf im kostenlosen Tarif, beide Deep-Research-Läufe, drei weitere Spürhund-Läufe sowie sämtliche 16 Läufe mit Claude und Gemini. Auffällig dabei: Alle Treffer kamen von OpenAI‑Modellen. Fünf Läufe pro Modell sind keine Statistik, und die Ergebnisse beschreiben einen einzigen Suchfall. Wenn aber ein Anbieter fünfmal danebenliegt und ein anderer viermal trifft, ist das ein Hinweis, wo wir aktuell stehen. Und es deckt sich auch mit unserer Erfahrung aus anderen Recherchen: Bei Websuche liegt OpenAI derzeit vorn. Vier Muster in den Fehlversuchen Ohne Suchprotokolle, die nur den Herstellern vorliegen, können wir nicht sagen, ob unsere Fehlläufe an der Suche oder an der Bewertung scheiterten. Vier Muster lassen sich in den Ergebnissen aber erkennen. Zwei davon beschreibt auch die aktuelle Forschung. Popularisierung statt Ursprung. Claude Opus 5 nannte in allen fünf Läufen Lütke und beantwortete damit die Frage, wer den Begriff geprägt habe. Gefragt war, wer ihn zuerst erwähnt hat. Das Modell wies selbst darauf hin, dass beides nicht dasselbe sei, und führte als frühere Nennung dann ausschließlich Walden Yan von Cognition an, dessen Beitrag rund eine Woche älter ist. Opus 5 Thinking landete viermal bei Yan und einmal bei Dex Horthys 12-Factor-Agents-Manifest, ein Lauf mit Fable 5.1 ebenfalls bei Yan. Gemini 3.8 Flash lieferte auf fünf identische Aufträge drei verschiedene Antworten: zweimal Yan, zweimal Horthy, einmal Lütke. Alle 16 Antworten verteilen sich damit auf drei Beiträge aus dem Jahr 2025, den vielfach verlinkten Kanon der Debatte. Keine reicht auch nur bis zu Goodside. Wer nach dem Ursprung eines Begriffs fragt, bekommt offenbar bevorzugt die Geschichte seiner Popularisierung: Die gut dokumentierte Frage ersetzt die tatsächlich gestellte. Eine Erklärung dafür liefert eine Untersuchung des Harbin Institute of Technology und von Xiaohongshu, die die Suchpfade von KI-Agenten analysiert hat. Mehr als die Hälfte der Suchanfragen leiten die Modelle aus ihrer eigenen Argumentation ab, nicht aus dem, was sie zuvor gefunden haben. Tauchen relevante Belege in den Treffern auf, übernehmen die Modelle sie in weniger als einem Drittel der Fälle. Die Suche dient dann weniger dem Finden als dem Bestätigen. Übertragen auf unseren Fall: Die Debatte um Lütke, Yan und Horthy war groß genug, um im Trainingswissen zu stecken. Ein Modell, das die Antwort zu kennen glaubt, sucht nach ihr und findet sie. Nach einem X-Beitrag von 2023 sucht es nicht, weil es keinen Grund dazu sieht. Damit wäre auch erklärt, warum Gemini der Zugriff auf Googles Index nichts nützte. Wenn irgendein Index die Princeton-PDF und den X-Beitrag erfasst hat, dann dieser. Im Index zu sein heißt aber nicht, gefunden zu werden, wenn das Modell gar nicht danach sucht. Dass die OpenAI-Modelle den Beitrag in 13 Läufen trotzdem fanden, zeigt allerdings, dass sich das Muster durchbrechen lässt. Echte Links, falsche Antwort. Neben Lütke, Yan und Horthy nannten einzelne Läufe LinkedIn-Beiträge von Ming Liang Ng, Pete Gordon oder Imran Peerbhai sowie ein Paper von Qinghua Lu und Kollegen von Dezember 2023. Allen Fehlantworten ist eines gemeinsam: Jeder Link führt zu einem echten Beitrag, in dem "Context Engineering" vorkommt. Keiner belegt, was die Modelle daraus machten: dass dort der Begriff zum ersten Mal auftaucht. Wer die Links anklickt, sieht alles bestätigt und merkt trotzdem nicht, dass die Antwort falsch ist. Der Benchmark Halluhard von EPFL, ELLIS Institute Tübingen und Max-Planck-Institut unterscheidet genau diese zwei Fehler: Die zitierte Quelle existiert nicht, oder sie existiert, belegt aber nicht, was das Modell behauptet. Die Websuche räumt den ersten Fehler weitgehend aus, erfundene Links sind bei aktuellen Modellen mit Suche selten geworden. Der zweite bleibt häufig. Unsere 48 Fehlläufe bestehen ausschließlich aus dem zweiten. Dauer und Denkstufe sind kein Qualitätssignal. Astra Hoch traf viermal in fünf Läufen, Astra Mittel zweimal, Astra auf Sehr hoch, Max und Ultra gar nicht. Die erfolgreichen Astra-Hoch-Läufe dauerten zwischen 2:33 und 2:52 Minuten, der Fehlversuch war nach 1:52 Minuten fertig und nannte Zackery Shelton mit Datum Dezember 2024. Bei Sol Hoch dauerten alle drei Fehlversuche länger als der Princeton-Fund, der längste 11:47 Minuten. Sol Max brauchte für den X-Beleg 11 und 16 Minuten. Der schnellste Astra-Lauf war ein Fehlgriff, der schnellste Sol-Lauf der beste Fund der ganzen Reihe. Das ist weniger überraschend, als es klingt. Die Denkstufe bestimmt, wie lange ein Modell über die Aufgabe nachdenkt, nicht, welche Dokumente die Suche zurückliefert. Liefert sie nur den Kanon von 2025, führt auch längeres Nachdenken nicht zu einer Folie von 2022. Auch Halluhard beobachtet, dass mehr Rechenaufwand fürs Nachdenken ab einem Punkt keine weiteren Verbesserungen bringt. Eine Studie aus dem Anthropic-Umfeld fand für konstruierte Denkaufgaben sogar, dass längeres Reasoning die Ergebnisse verschlechtern kann. Wer lange auf eine Antwort wartet, hat deshalb keinen Grund, ihr mehr zu vertrauen als einer schnellen. Übereinstimmung ist kein Beleg. Mit Deep Research warteten wir 11:00 und 19:34 Minuten. Beide Läufe nannten Horthys Manifest von April 2025, beide lagen falsch. Wer bei Gemini aus der Übereinstimmung zweier Läufe auf Verlässlichkeit schließen wollte, hätte je nach Ziehung Yan oder Horthy als "bestätigt" gebucht. Der Grund: Zwei Läufe desselben Modells sind keine zwei völlig unabhängigen Quellen. Sie greifen auf dasselbe Trainingswissen und denselben Suchindex zu und landen deshalb bevorzugt bei denselben gut dokumentierten Beiträgen. Übereinstimmung zeigt, wie dominant eine Antwort im neuronalen und Internet-Netz ist, nicht, ob sie stimmt. Noch weniger wert ist die Nachfrage im laufenden Chat: Dort hat das Modell seine erste Antwort bereits vor sich und die beeinflusst die Folgeantwort. Halluhard zeigt entsprechend, dass die Fehlerrate in längeren Gesprächen steigt, weil Modelle auf ihren eigenen früheren Aussagen aufbauen. Wer nachprüfen will, startet deshalb eine frische Sitzung. Wie es weitergeht Unsere Referenzantwort galt bis zu dieser Testreihe als gesichert, jetzt kennen wir eine neue. Wir werden weiter testen. Vielleicht findet das nächste Modell eine noch frühere Erwähnung. Vielleicht lernen wir dabei wieder, dass wir zu früh aufgehört haben, zu suchen. Die Wahrheit ist irgendwo da draußen.

KI-Recherche: Die falschen Antworten haben die besseren Links

heise KI PROAbo inkl. Live-Workshop

heise KI PRO
Abo inkl. Live-Workshop