KI-Halluzinationen - Praxisleitfaden zur Erkennung und Vermeidung

Was sind KI-Halluzinationen? Wir alle kennen das Phänomen: Sprachmodelle antworten mit überzeugend klingenden, aber falschen Informationen. Oft sind die Fehler so gut in plausibel klingenden Text verborgen, dass ihn nur Expert:innen auf den ersten Blick erkennen. Eine aktuelle OpenAI-Studie zeigt: Das Problem steckt tief in der Architektur und dem Training der Modelle. Neuere Modelle halluzinieren tendenziell weniger, als ältere – doch auch sie sind nicht frei von ihnen. Das kann im Arbeitsalltag für enorme Probleme sorgen. Es sind bereits mehrere Fälle bekannt, in denen Unwissen über das Phänomen KI-Halluzinationen oder einfach fehlende Qualitätsprüfung zu ernsthaften Konsequenzen geführt hat. Der neuste Fall: Die renommierte Beraterfirma Deloitte musste einen Teil des Vertrags (439.000 australischen Dollar, rund 247.000 Euro) an das australische Bundesministerium zurückerstatten, weil in einem ihrer halluzinierte Fußnoten gefunden wurden. Ein enormer Reputationsschaden. Um Ihnen und Ihren Mitarbeitenden dieses Schicksal zu ersparen, haben wir für Sie die wichtigsten Strategien gegen KI-Halluzinationen zusammengefasst. Der Leitfaden beschreibt erst typische Fehlerbilder, dann Ursachen und schließlich praxisnahe Gegenmaßnahmen. Die sechs Arten von KI-Halluzinationen Bevor wir Halluzinationen bekämpfen können, müssen wir sie erkennen. Nicht jeder Fehler ist gleich – es können verschiedene Arten von Halluzinationen auftauchen. Manche sind schwerer zu erkennen, als andere – und brauchen verschiedene Gegenmaßnahmen. Art der Halluzination Beschreibung Typisches Beispiel Wo es oft passiert Faktische Fehler Die Ausgaben sind falsch oder erfunden. „Einstein gewann den Nobelpreis 1950" (richtig: 1921) Namen, Daten, Zahlen, Biografien Zeitliche Fehler Veraltetes oder überholtes Wissen wird als aktuell dargestellt. „Das neueste iPhone ist das iPhone 16" Aktuelle Ereignisse, Preise Kontextuelle Fehler Fügt Konzepte hinzu, die im ursprünglichen Kontext nicht erwähnt oder impliziert wurden. Zusammenfassung fügt „KI ist gefährlich" hinzu, obwohl nie gesagt Zusammenfassungen, Interpretationen Sprachliche Fehler Grammatikalisch korrekte, aber inhaltlich unsinnige oder unzusammenhängende Sätze. „Das Quantenprinzip negiert die Einstein-Logik" Kreative Texte, technische Erklärungen Extrinsische Fehler Aussagen, die nicht durch die zugrunde liegenden Quellen gestützt sind. System zitiert Fakten, die nicht in Dokumenten stehen oder lässt Fakten aus, die in den Quellen stehen Recherche-Aufgaben Intrinsische Fehler Widersprüchliche oder sich selbst widersprechende Antworten. „Azure unterstützt Fine-Tuning" und später „Azure unterstützt kein Fine-Tuning" Lange Texte, dialogisches Arbeiten, komplexe Themen ↔ Tabelle horizontal scrollbar Warum entstehen Halluzinationen? Sprachmodelle werden mit riesigen Mengen an Text trainiert. Ziel der ersten Trainingsphase, dem Pretraining, ist das Erkennen von Mustern in Sprachdaten. Die Neuronen des künstlichen Netzes lernen dabei, auf bestimmte sprachliche Zusammenhänge zu reagieren. So entstehen komplexe statistische Strukturen, die ein prädiktives Sprachverhalten ermöglichen – gewissermaßen ein „Texttaschenrechner". Wissen, etwa zur Quantenphysik, ist dabei über viele Neuronen verteilt und entsteht erst im Zusammenspiel ihrer Aktivierungen. Im Vortraining soll die Wahrscheinlichkeitsverteilung echter Sprache möglichst genau nachgebildet werden. Dazu werden die Gewichte des neuronalen Netzes so angepasst, dass es typische sprachliche Muster erkennt und deren Auftreten vorhersagen kann. In den Trainingsdaten finden sich jedoch auch fehlerhafte oder sehr seltene Informationen. Um Sprache dennoch realistisch wiederzugeben, lernt das Modell Wahrscheinlichkeiten für alle beobachteten Wortfolgen: Häufige Kombinationen erhalten höhere, seltene oder unplausible niedrigere Werte. So gilt etwa „Ich heiße…" als plausibles Sprachmuster, während eine Folge wie „Ich Marmelade Fisch" kaum vorkommt und entsprechend gering bewertet wird. Das Modell vergibt keine „Null" für ungewöhnliche, aber sprachlich mögliche Muster, sondern genau so viel Wahrscheinlichkeit, wie es die Statistik seiner Sprachverteilung vorgibt. Dadurch kann es auch falsche, aber plausibel klingende Antworten erzeugen – ein Resultat seiner statistischen, nicht semantischen Sicht auf Sprache. Einzeln vorkommende Fakten – sogenannte Singletons – stellen dabei ein besonderes Problem dar. Der Geburtstag einer erfundenen Person, etwa Frau Wilma Maier (01.12.1976), könnte nur einmal in den Trainingsdaten vorkommen. Wird das Modell gefragt, wann sie Geburtstag hat, muss es im Grunde raten. Es speichert keine Fakten, sondern Wahrscheinlichkeiten über Wortfolgen. Es weiß also, dass Menschen an 365 verschiedenen Tagen Geburtstag haben können – nicht, welcher Tag im Einzelfall zutrifft. Anders ist es bei häufig erwähnten Fakten, etwa dem Geburtstag von Franz Schubert (31. Januar 1797), der in vielen Quellen auftaucht. Solche Informationen kann das Modell stabil verknüpfen; die Wahrscheinlichkeit für Halluzinationen ist entsprechend geringer. Doch auch bei ausschließlich korrekten Trainingsdaten bleiben Halluzinationen bestehen. Ursache ist die sogenannte epistemische Unsicherheit: Für viele Fragen existiert keine lernbare Regel. Sprachmodelle werden im Vortraining nicht auf Wahrheit, sondern auf die statistische Struktur natürlicher Sprache optimiert. Warum bleiben Halluzinationen auch nach dem Post-Training? Das Post-Training verfolgt zwei Hauptziele: Erstens soll das Sprachmodell zu einem hilfreichen Assistenten werden, zweitens Problemlösefähigkeiten entwickeln. Nach dem Vortraining sind Modelle wie ChatGPT noch keine funktionierenden Dialogsysteme – sie müssen erst lernen, sinnvoll mit Menschen zu interagieren. Das erste Ziel wird durch das Training mit realen menschlichen Dialogen erreicht, wodurch das Modell lernt, hilfreiche und kontextbezogene Antworten zu geben. Das zweite Ziel – die Entwicklung von Problemlösefähigkeiten – erfolgt meist durch Reinforcement Learning, also Verstärkungslernen anhand bewerteter Aufgaben und Lösungen. Viele Testverfahren (Benchmarks) belohnen jedoch eindeutige Antworten stärker als das Eingeständnis von Unwissen. Ähnlich wie in einem Multiple-Choice-Test ist es besser, eine Antwort zu geben, als gar keine. Entsprechend neigen Sprachmodelle auch bei Unsicherheit dazu, etwas zu sagen – und zwar das, was statistisch am plausibelsten klingt. Diese Antworten wirken oft überzeugend, auch wenn sie falsch sind. Ein Beispiel die Frage an das LLM: „Wer ist Alfonso Alfredo?" Ohne Zugriff auf das Internet beantworten Modelle diese Frage meist falsch – schlicht, weil es diese Person nicht gibt. Die Struktur „Wer ist …?" ist im Trainingsmaterial jedoch häufig mit biografischen Beschreibungen verknüpft. Das Modell folgt also seiner Statistik: Wenn jemand nach einer Person fragt, antworte mit einer Biografie. Fragt man etwa das Modell Gemma 3 (12B, Google), lautet die Antwort: „Alfonso Alfredo ist ein spanischer Informatiker und Professor für Softwaretechnik an der Universidad Carlos III de Madrid. Er forscht zu Microservices, Cloud-nativen Anwendungen und DevOps." Diese Antwort klingt plausibel, ist aber erfunden. Vermutlich verwechselt das Modell den echten Informatiker Antonio de Amescua, der tatsächlich an dieser Universität lehrt. Ebenso denkbar ist eine Assoziation mit dem Schauspieler Alfredo Alfonso aus der mexikanischen Serie Amor bravío. Wird das Modell stattdessen gefragt: „Wer ist Alfredo Alfonso?", folgt eine ähnlich falsche Antwort: „Alfredo Alfonso ist ein italienischer Informatiker und Professor an der Universität Padua." Das Modell kombiniert also bekannte Token-Muster – Namen, Berufe, Länder – zu sprachlich überzeugenden, aber faktisch falschen Aussagen. Fortgeschrittene Modelle wie GPT-4.1 oder Llama 4 Maverick reagieren dagegen vorsichtiger: „Ich konnte leider keine spezifischen Informationen über eine Person namens Alfredo Alfonso finden." Solche Antworten zeigen, dass neuere Modelle besser gelernt haben, Unsicherheit auszudrücken, statt zu halluzinieren. Dennoch bleibt das Grundproblem bestehen: Wo statistische Plausibilität belohnt wird, lassen sich Halluzinationen nie vollständig vermeiden. Auch bei Deep Research-Systemen mit Internetzugriff kommt es zu Halluzinationen: In einem Test ließen wir OpenAI's Deep Research die am meisten genutzten Linkedin Hashtags in Deutschland aus den letzten 5 Jahren recherchieren und als Tabelle ausgeben. Das Modell antwortete mit folgender Tabelle: ChatGPT Recherche zu Top LinkedIn Hashtags Folgte man der angegebenen Quelle (zufälligerweise auf unser Schwestermagazin „The Decoder"), stößt man auf die angebliche Herkunft der Daten: The Decoder Artikel zu LinkedIn-Themen Der Abschnitt bezieht sich auf eine Studie aus dem August 2023 („Future of Work Report" von LinkedIn), welche den durchschnittlichen Anstieg von KI-Keywords in LinkedIn-Profilen misst - nicht Hashtags. LinkedIn "Future of Work Report" (Screenshot) Die Überschrift des Artikels – „LinkedIn-Statistik zeigt massiven Einfluss von ChatGPT auf den KI-Markt" – war für das Modell offenbar zu verlockend, um sie nicht als Beleg zu verwenden. Im Gegensatz dazu unterlief GPT-5 Thinking im Search Mode dieser Fehler nicht: Es fand lediglich eine ältere Studie aus dem Jahr 2021 und wies korrekt darauf hin, dass keine verlässlichen Daten vorliegen. Wiederholte Anfragen oder eine geänderte Reasoning-Einstellung erzeugen jedoch mitunter andere Ergebnisse. Dieses Beispiel zeigt, dass die Modellhersteller kontinuierlich daran arbeiten, Halluzinationen zu reduzieren. Vollständig verschwinden wird das Problem jedoch vorerst nicht – zu tief liegt es in der statistischen Funktionsweise dieser Systeme verankert. Warnsignale: So erkennen Sie KI-Bullshit Halluzinationen zu erkennen ist immer dann am einfachsten, wenn Sie die nötige Expertise mitbringen, um Fehler zu identifizieren. Insbesondere wenn Sie häufig mit einem Modell und bestimmten Prompts arbeiten, lernen Sie, die typischen Fehlerquellen schneller einzuschätzen und durch die später vorgestellten Strategien einzuschränken. Vorsicht vor Betriebsblindheit: Selbst offensichtliche Halluzinationen werden leicht übersehen, wenn sie sich in einem ansonst gut geschriebenen Text oder plausibel klingender Analyse verstecken. Schwieriger wird es, wenn Sie die entsprechende Expertise nicht mitbringen. Im Folgenden haben wir einige mögliche Warnsignale und Tests zum Erkennen zusammengestellt. Diese können dabei unterstützen, Halluzinationen zu identifizieren. Warnsignal Was es bedeutet Mögliche Tests Was Sie tun können Übertrieben selbstsicher bei schwierigen Themen KI überspielt Unwissen durch überzeugenden Ton Gleiche Frage 3x anders stellen „Wo bist du unsicher? Welche alternativen Sichtweisen gibt es?" Keine konkreten Quellen Information ist wahrscheinlich erfunden Nach URLs/Studien/Seitenzahlen fragen „Nenne mir die exakte Quelle mit URL oder Seitenzahl" Verschiedene Antworten bei gleicher Frage KI hat keine stabile Wissensbasis Best-of-N Test (3-5x fragen) Abweichungen dokumentieren, stabilste Version nehmen Zu perfekte Details KI erfindet spezifische Angaben für Glaubwürdigkeit Konkrete Zitate/Zahlen nachprüfen „Woher hast du dieses exakte Zitat? Belege diese Zahl" Zu einfache Lösungen für komplexe Probleme Wichtige Nuancen werden ignoriert Nach Problemen/Grenzen fragen „Was sind die größten Herausforderungen? Was könnte schiefgehen?" Detaillierte Infos zu obskuren Themen KI erfindet spezifische Details zu unbekannten Personen/Ereignissen Plausibilitätsprüfung: Sollte die KI das wirklich wissen? Bei unbekannten Personen/Ereignissen: Externe Verifikation (Internet) ↔ Tabelle horizontal scrollbar Die wichtigsten Strategien gegen Halluzinationen Wie können Sie Halluzinationen aktiv vermeiden? Streng genommen gar nicht. Denn wie wir gelernt haben, können wir sie immer nur reduzieren, aber nie vollständig ausschließen. Daher widmen wir uns, bevor wir zu Strategien kommen, die das erreichen, einer zentralen Voraussetzung für den erfolgreichen Einsatz generativer KI: der passenden Fehlerkultur. Fehlerkultur Für Unternehmen besteht heute kaum mehr die Option, auf „perfekte" KI-Systeme zu warten. Entscheidend ist vielmehr, ein aktives Risikomanagement zu etablieren. Dazu gehört insbesondere, die KI-Kompetenz der Mitarbeitenden zu stärken – etwa durch Schulungsangebote wie KI PRO. Die beste Empfehlung im Umgang mit Halluzinationen lautet daher: Keine Angst davor haben. Zum einen werden sie mit fortschreitender Entwicklung seltener, oder die Systeme werden künftig angeben können, wie sicher sie sich bei einer Antwort sind – so auch die Einschätzung der OpenAI-Forschenden in der eingangs zitierten Studie. Zum anderen spart der Einsatz von KI trotz möglicher Fehler häufig Zeit. Schließlich arbeiten auch Menschen nicht fehlerfrei – und dennoch beenden wir die Zusammenarbeit nicht direkt, sondern lernen, ihre Grenzen einzuschätzen. Auch bei KI-Modellen gilt: Wer regelmäßig mit ihnen arbeitet und experimentiert, sammelt Praxiswissen über ihre Möglichkeiten und Grenzen. Dadurch lernt man, Halluzinationen bereits beim Prompting zu antizipieren und im Output schneller zu erkennen. Wer Halluzinationen erkennen und reduzieren will, muss sich aktiv mit ihnen auseinandersetzen. Zudem wird Fact-Checking zu einem festen Bestandteil des Arbeitsprozesses – häufig ebenfalls KI-gestützt. Damit verlagert sich der Wertschöpfungsprozess: In wenigen Minuten entsteht ein erster Entwurf, dafür wird mehr Zeit in die Überprüfung investiert. Am Ende sollte ein Zeitgewinn entstehen – auch wenn das mitunter mehrere Durchläufe erfordert. Denn, wie wir bereits wissen: Praxiswissen ist unersetzbar. Fragen Sie sich außerdem: Wie kritisch sind Fehler bei einer bestimmten Aufgabe? Wenn ein Fehler existenzielle Folgen haben könnte, sollte die Aufgabe nicht vollständig an KI übergeben werden. Ebenso wichtig ist zu prüfen, wie leicht sich Fehler erkennen lassen und ob die nötige Fachkompetenz zur Kontrolle vorhanden ist. Expertinnen und Experten können besonders effektiv mit KI arbeiten, weil sie Ergebnisse schnell bewerten, korrigieren und fehlende Informationen identifizieren können. Schließlich gilt es abzuwägen, ob ein Mensch in einer bestimmten Aufgabe tatsächlich verlässlichere Ergebnisse liefern würde – und ob die zusätzliche Genauigkeit den möglichen Effizienzgewinn durch KI aufwiegt. Im Folgenden stellen wir Ihnen nun drei zentrale Strategien vor, die sich bei uns und in anderen Unternehmen in der Praxis bewährt haben. Für jede Strategie haben wir einige vielversprechende Methoden herausgegriffen. Dabei orientieren wir uns zusätzlich an den Best Practices von Modellherstellern wie OpenAI, Anthropic, Microsoft, Amazon und Google. Strategie 1: Kontext-Arbeit – Kontrolle über Wissen und Quellen Halluzinationen entstehen häufig, wenn Modelle auf unklare, veraltete oder unvollständige Informationen zurückgreifen. Kontext-Arbeit bedeutet, den Wissensraum aktiv zu gestalten – also sicherzustellen, dass die KI primär auf geprüfte, relevante und nachvollziehbare Informationen zugreifen kann. Damit können Sie eine stärkere Kontrolle über die verwendeten Datenquellen behalten, Transparenz und Nachvollziehbarkeit erhöhen und den Einfluss des unsicheren und häufig veralteten Trainingswissen reduzieren. Dabei gilt es Fachgrenzen zu respektieren: Expert:innen prüfen, was nur Fachwissen bewerten kann. Folgende zentrale Methoden lassen sich identifizieren: Context Engineering mit kontrollierten Wissensquellen Die wohl wichtigste und effektivste Strategie ist das Arbeiten mit Kontext (Context Engineering). Das bedeutet, Sie geben dem Modell die notwendigen Informationen direkt im Chat. Das kann mit verschiedenen Techniken erreicht werden (wie z.B. im Prompt selbst, als Markdown-Datei oder als in den Chat geladenes Dokument), das Grundprinzip bleibt aber gleich. Das Problem: KI greift auf ihr internes, möglicherweise veraltetes oder fehlerhaftes Trainingswissen zurück, statt auf aktuelle, geprüfte Informationen. Das führt zu einer unkontrollierbaren Mischung aus echten und halluzinierten Daten. Die Lösung: Schaffen Sie eine kontrollierte Wissensumgebung, in der die KI nur auf verifizierte, aktuelle Informationen zugreifen kann. Warum das funktioniert: Sie schaffen eine kontrollierte Informationsumgebung. Die KI kann nur das verwenden, was Sie ihr explizit zur Verfügung stellen. Das minimiert Halluzinationen aus veralteten Trainingsdaten und macht alle Antworten nachvollziehbar und überprüfbar. Drei bewährte Ansätze helfen dabei: Direkter Kontext (Context Engineering) Laden Sie relevante Dokumente direkt in das Chatfenster. Das ist die einfachste und zuverlässigste Methode für kleinere Informationsmengen. Beispielprompt: „Analysiere diesen Vertrag basierend auf den folgenden Dokumenten: [Dokument 1: Hauptvertrag] [Dokument 2: Ergänzungsvereinbarung] [Dokument 3: Compliance-Richtlinien] Verwende NUR diese Informationen für deine Analyse." Heise I/O Kontext-System RAG-Systeme (Retrieval-Augmented Generation) RAG-Systeme durchsuchen automatisch Ihre Wissensbasis (eine vorher aufgebaute Vektordatenbank) und stellen der KI nur relevante Informationen zur Verfügung. Beispielprompt für RAG: „Du hast Zugang zu unserer Unternehmensdatenbank über RAG. Antworte NUR basierend auf den abgerufenen Dokumenten. Falls RAG keine relevanten Informationen findet, sage: 'Keine passenden Informationen in der Wissensbasis gefunden.' Zitiere immer die Quelle: [Dokumentname, Abschnitt]" Heise I/O RAG-System Tool Use (Werkzeug-Anbindung) Verbinden Sie die KI mit externen Tools und Datenquellen für Echtzeitinformationen. Beispiele für Tool Use: Internet-Suche: Aktuelle Informationen und Nachrichten Datenbank-Abfragen: Direkte Anbindung an Unternehmenssysteme API-Zugriffe: Wetter, Börsenkurse, Verkehrsdaten Berechnungstools: Komplexe Mathematik, Statistiken Integrierte Lösungen wie heise I/O vereinfachen diesen Prozess erheblich. Sie bieten eine benutzerfreundliche Oberfläche zur Verwaltung verschiedener Wissensquellen und ermöglichen es, RAG-Systeme, Tool Use und direkten Kontext nahtlos zu kombinieren. Statt komplexe technische Infrastrukturen aufzubauen, können Sie verschiedene Datenquellen einfach auswählen und verknüpfen. Nutzen Sie direkte Zitate zur Erdung (Grounding) Eine weitere Möglichkeit den Kontext besser zu nutzen ist das sogenannte "Grounding" mit Zitaten. Bei Aufgaben mit langen Dokumenten (über 20.000 Tokens) können Sie die KI erst wörtliche Zitate extrahieren lassen, bevor sie ihre eigentliche Aufgabe erfüllt. Das verankert ihre Antworten im tatsächlichen Text. Das Problem: Bei langen Dokumenten neigt KI dazu, Informationen zu erfinden, die plausibel klingen, aber nicht im Text stehen. In anderen Fällen lässt sie Informationen aus, die in der Quelle stehen. Zudem kann sie Lücken mit ihrem allgemeinen Wissen ausfüllen oder Details erfinden. Die Lösung: Zwingen Sie die KI, ihre Aussagen durch direkte Zitate zu belegen: Beispielprompt „Schritt 1: Extrahiere alle relevanten Zitate aus dem Dokument zu unserem Thema Schritt 2: Prüfe jedes Zitat auf Relevanz Schritt 3: Erstelle deine Analyse NUR basierend auf diesen Zitaten Schritt 4: Markiere alle Aussagen, die nicht durch Zitate belegbar sind" Warum das funktioniert: Die KI legt stärkeren Wert auf das, was tatsächlich im Text steht. Sie fügt keine Informationen hinzu, die sie nicht zitiert. Zudem fällt schneller auf, wenn das Modell wichtige Fakten auslässt - sofern Sie die Quelle kennen. Fact-Checking / LLM as a judge Eine weitere bewährte Methode zur Qualitätskontrolle ist das Fact-Checking mithilfe eines zweiten Sprachmodells („LLM as a Judge"). Dabei wird das Ergebnis eines Modells von einem anderen Modell oder Prozess überprüft. Das Problem: Auch bei strukturierten Prompts und gutem Context Engineering können Fehler entstehen. Da Modelle sich auf Wahrscheinlichkeiten statt auf absolute Wahrheiten stützen, kann jedes Ergebnis potenziell fehlerhaft sein. Die Lösung: Lassen Sie ein zweites Modell die Faktenlage prüfen. Dieses sollte die Quelle direkt einbeziehen und optional externe Informationen wie Websuche heranziehen. Beispielprompt: „Schritt 1: Lies die Antwort des Modells A und die Originalquelle Schritt 2: Prüfe jede Behauptung darauf, ob sie inhaltlich korrekt ist und mit der Quelle übereinstimmt Schritt 3: Markiere alle Aussagen, die sich nicht verifizieren lassen oder im Widerspruch zur Quelle stehen Schritt 4: Gib eine überarbeitete, faktengeprüfte Version der Antwort aus" Warum das funktioniert: Durch den Vergleich mehrerer Modelle werden Fehler zuverlässig erkannt. Unserer Erfahrung nach eignet sich das LRM-Modell GPT-5 Thinking besonders gut für dies Aufgabe und kann auch zusätzlich relativ zuverlässige Websuchen durchführen. Strategie 2: Prompting – Denken in klaren Aufgabenstrukturen Die Qualität einer KI-Antwort hängt selbstverständlich auch maßgeblich von der Klarheit und Struktur des Prompts ab. Gezieltes Prompting heißt, Aufgaben präzise zu formulieren, Erwartungen zu kommunizieren und das Modell zur Reflexion anzuleiten. So können Sie Missverständnisse vermeiden, nachvollziehbare Antworten fördern und "Denkprozesse" der KI transparenter machen. Hier gilt: Bauen Sie viel Praxiswissen auf und lassen Sie Erfahrungen mit Prompts und Modellverhalten in das "Prompt-Engineering" einfließen. Folgende zentrale Methoden und Strategien lassen sich identifizieren: Chain-of-Thought (Verifikation) Geben Sie der KI eine strukturierte Vorgehensweise und lassen Sie die KI ihre Denkschritte erklären, bevor sie eine finale Antwort gibt. Das Problem: KI-Systeme geben eine Antwort oft sofort aus, ohne ihr Vorgehen vorher zu strukturieren. Das hat zwei Probleme: Die Ergebnisse sind schlechter, als sie sein müssten und die Nachvollziehbarkeit sinkt. Die Lösung: Zwingen Sie die KI, strukturiert vorzugehen und ihre Argumentation offenzulegen. Beispielprompt: „Analysiere dieses Geschäftsmodell. Gehe dabei so vor: 1. Erkläre zunächst, welche Informationen du für wichtig hältst 2. Beschreibe deine Analysemethode 3. Führe die Analyse Schritt für Schritt durch 4. Identifiziere mögliche Schwachstellen in deiner eigenen Argumentation 5. Gib erst dann deine finale Einschätzung ab" Warum das funktioniert: Sie haben mehr Kontrolle darüber, wie das KI-Modell vorgeht und Fehler werden sichtbarer, bevor sie sich in der finalen Antwort verstecken können. Sie können die Logik nachvollziehen und Schwachstellen identifizieren. Moderne Modelle – insbesondere LRMs – gehen bereits strukturiert vor und bei Letzteren lassen sich die Gedankenketten verfolgen. Es kann aber immer noch sinnvoll sein, eine eigene Vorgehensweise festzulegen. Einschränkungen: Aus der Forschung wissen wir, dass LRMs (Reasoning-Modellen) ihre Gedankenketten offenlegen, Untersuchungen zeigen jedoch, dass diese Denkschritte nicht exakt den wahren Überlegungen des Modells entsprechen. Multi-Shot Prompting mit Beispielen Geben Sie der KI konkrete Beispiele für gewünschte und ungewünschte Antworten. Das hilft ihr, Ihre Erwartungen besser zu verstehen. Das Problem: Abstrakte Anweisungen werden oft missverstanden. „Sei vorsichtig mit Fakten" kann verschiedene Interpretationen haben. Die Lösung: Zeigen Sie konkret, was Sie wollen. Beispielprompt: „Analysiere diesen Marktbericht. Hier Beispiele für gute und schlechte Antworten: SCHLECHT: 'Der Markt wächst um 15% jährlich.' (keine Quelle, zu präzise) GUT: 'Laut Abschnitt 3.2 liegt das Marktwachstum zwischen 12-18% jährlich.' SCHLECHT: 'Alle Experten sind sich einig...' (Verallgemeinerung) GUT: 'Die befragten Analysten (siehe Seite 12) tendieren zu...' Folge diesem Muster für deine Analyse." Warum das funktioniert: Konkrete Beispiele sind eindeutiger als abstrakte Regeln. Die KI kann das gewünschte Verhalten direkt nachahmen. Erlauben Sie die Antwort „Ich weiß es nicht" Laut Anthropic einer der wichtigsten Maßnahmen überhaupt: Geben Sie der KI explizit die Erlaubnis, „Ich weiß es nicht" zu sagen. Die Technik kann falsche Informationen reduzieren. Das Problem: KI-Systeme sind darauf trainiert, hilfreich zu sein. Sie glauben, eine Antwort sei immer besser als keine Antwort. Deshalb raten sie lieber, als zuzugeben, dass sie etwas nicht wissen. Die ein oder anderen Modelle sind hier fortschrittlicher und geben zu, es nicht zu wissen. Es ist aber wichtig, dass Sie diese grundlegende Tendenz kennen und erkennen können. Die Lösung: Machen Sie Unwissen zu einer akzeptablen Option. Beispielprompt: „Analysiere diesen Fusionsbericht. Falls du dir bei bestimmten Punkten unsicher bist, sag das deutlich. Es ist völlig in Ordnung zu antworten: 'Diese Information kann ich nicht sicher beurteilen.'„ Warum das funktioniert: Sie verändern die Anreizstruktur. Statt immer einer Antwort, fördern sie auch „ehrlichere" Antworten des Modells. Konfidenz-Level einfordern Lassen Sie die KI ihre Sicherheit bei verschiedenen Aussagen bewerten und entsprechend formulieren. Das Problem: KI präsentiert alle Informationen mit gleicher Sicherheit, obwohl manche Fakten besser belegt sind als andere. Die Lösung: Fordern Sie explizite Unsicherheits-Kommunikation. Beispielprompt: „Strukturiere deine Antwort nach Sicherheitslevel: SICHER (>90%): Fakten mit klaren Belegen WAHRSCHEINLICH (70-90%): Gut unterstützte Annahmen MÖGLICH (50-70%): Plausible Vermutungen UNSICHER (<50%): Spekulative Aussagen UNBEKANNT: Keine Informationen verfügbar" Beispiel Output: SICHER: Das Unternehmen hat 2023 einen Umsatz von 50 Mio. Euro erzielt (Geschäftsbericht S. 5)WAHRSCHEINLICH: Die Expansion nach Asien dürfte 2024 beginnen (mehrere Hinweise in Dokumenten)UNSICHER: Die geplante Personalaufstockung (nur eine vage Erwähnung)UNBEKANNT: Konkrete Investitionssummen für neue Märkte Strategie 3: Technische Lösungen – Systeme stabil und nachvollziehbar halten Neben Kontext und Kommunikation spielen auch technische Parameter und Kontrollmechanismen eine Rolle. Technische Lösungen können helfen, Fehlerquellen systematisch zu erkennen und zu begrenzen – besonders bei großflächigem oder automatisiertem KI-Einsatz. Ziel solcher Maßnahmen ist es Stabilität und Konsistenz der Ausgaben zu erhöhen, Fehlverhalten frühzeitig zu erkennen und Automatisierte Prüfmechanismen zu implementieren. Zentral hier sind Monitoring und Evaluation. Wer seine Ergebnisse regelmäßig prüft und auswertet, erhält mehr Informationen über die Leistungsfähigkeit seiner Kontext-Arbeit, Prompts und Modelle – und kann einen Vorsprung im Praxiswissen aufbauen. Folgende zentrale Methoden und Strategien lassen sich identifizieren: Best-of-N Verifikation Lassen Sie die KI dieselbe Aufgabe mehrmals bearbeiten und vergleichen Sie die Ergebnisse. Inkonsistenzen zwischen den Ausgaben können auf Halluzinationen hinweisen. Das Problem: Bei unsicherem Wissen generiert die KI jedes Mal eine andere, aber plausibel klingende Antwort. Diese Inkonsistenz verrät, dass sie rät, statt zu wissen. Die Lösung: Führen Sie systematische Vergleichstests durch: Durchgang 1: „Erstelle eine Analyse der Marktlage für unser Produkt"Durchgang 2: „Analysiere die aktuelle Marktsituation für unser Produkt"Durchgang 3: „Bewerte die Marktbedingungen für unser Produkt" Auswertung: Dokumentieren Sie Übereinstimmungen und Abweichungen: Konsistente Punkte = wahrscheinlich zuverlässig Widersprüchliche Punkte = Halluzinations-Verdacht Völlig unterschiedliche Antworten = hohes Risiko Warum das funktioniert: Echtes Wissen ist stabil, erfundenes Wissen variiert. Durch Vergleiche können Sie zuverlässige von unzuverlässigen Informationen trennen. Guardrails einführen Das Problem: KI-Systeme haben zwar eingebauten Sicherheitsmechanismen, die problematische oder unsichere Antworten verhindern – aber die funktioniere nicht immer und sind nicht auf Ihr Unternehmen zugeschnitten. Die Lösung: Implementieren Sie technische Sicherheitsebenen (Guardrails), die automatisch eingreifen. Beispiele für Guardrails: Content-Filter: Automatische Erkennung von Hassrede, Gewalt oder anderen problematischen Inhalten Confidence-Schwellenwerte: System eskaliert automatisch bei niedrigen Sicherheitswerten Fachbereichs-Sperren: KI darf nicht zu medizinischen oder rechtlichen Themen antworten Quellen-Validierung: Automatische Prüfung, ob genannte Quellen tatsächlich existieren Temperatur-Kontrolle Reduzieren Sie die Kreativität der KI durch niedrigere Temperatur-Einstellungen, um konsistentere und faktischere Antworten zu erhalten. Das Problem: Hohe Temperatur-Werte machen KI kreativer, aber auch unvorhersagbarer. Bei faktischen Aufgaben ist Kreativität kontraproduktiv. Die Lösung: Nutzen Sie niedrige Temperatur-Werte (0,1-0,3) für faktische Aufgaben: Temperatur 0,1 = sehr deterministisch, wenig Variation Temperatur 0,3 = leicht variabel, aber noch konsistent Temperatur 0,7 = Balance zwischen Kreativität und Konsistenz Temperatur 0,7+ = kreativ, aber unvorhersagbar Wichtig: Die Modelleinstellungen variieren zwischen den Modellen und Herstellern. Nicht nur die Temperatur hat Einfluss auf die Ergebnisse (Inferenz) des Modells (weitere Parameter sind z.B. top_k oder top_p). Für die optimalen Einstellungen lesen sie die Dokumentationen der Anbieter. Wann niedrige Temperatur nutzen: Faktenchecks Datenanalysen Compliance-Prüfungen Technische Dokumentation Wann höhere Temperatur okay ist: Brainstorming Kreative Texte Marketing-Inhalte Ideenfindung Spezielle Risikofaktoren Sycophancy: Wenn KI zum Ja-Sager wird Ein besonders tückisches Problem ist die Schmeichelei (Sycophancy): KI-Systeme bestätigen oft, was Sie sagen – auch wenn es falsch ist. Das passiert, weil sie darauf trainiert sind, hilfreich und zustimmend zu sein. Eine aktuelle Übersicht der besten und schlechtesten Modelle in diesem Aspekt finden Sie hier. Vermeiden Sie Modelle mit einem hohen Sycophancy-Wert, insbesondere dann, wenn Sie dialogisch arbeiten. Das Problem verstehen: Wenn Sie sagen „Die Erde ist flach, oder?", antwortet eine schmeichelnde KI möglicherweise „Ja, das sehen manche so..." statt klar zu widersprechen. Das liegt daran, dass Menschen freundliche, bestätigende Antworten besser bewerten als korrigierende. Die Lösung: Nutzen Sie ein Modell mit niedrigem Sycophancy-Wert. Sofern das nicht möglich ist, fordern Sie aktiv Widerspruch ein. Beispielprompts: „Du bist mein kritischer Berater, nicht mein Ja-Sager. Wenn ich etwas Falsches sage, korrigiere mich höflich aber bestimmt. Wenn meine Idee Probleme hat, zeige sie auf. Ehrlichkeit ist wichtiger als Höflichkeit." Statt: „Ist meine Geschäftsidee gut?"Besser: „Führe eine kritische SWOT-Analyse meiner Geschäftsidee durch. Konzentriere dich besonders auf mögliche Schwächen und Risiken." Statt: „Stimmt diese Aussage?"Besser: „Überprüfe diese Aussage anhand von drei unabhängigen Quellen. Liste Pro- und Contra-Argumente auf." Statt: „Soll ich diese Strategie verfolgen?"Besser: „Spiele den Advocatus Diaboli: Warum könnte diese Strategie scheitern? Welche Alternativen gibt es?" Pro-Tipp: Wenn das Modell öfters mit „Ja, du hast recht" antwortet, ist es Zeit einen neuen Chat zu starten. "Lost in the Middle" Das „Lost in the Middle"-Problem tritt bei sehr langen Dokumenten auf. KI-Systeme konzentrieren sich auf Anfang und Ende und übersehen wichtige Informationen in der Mitte. Es ist daher sinnvoll bei Ihrer Kontext-Arbeit bei großen Dokumenten Wert auf gut aufbereitete Daten zu legen. Methoden wie das Grounding mit Zitaten können als Prüfstein dienen, ob das KI-Modell alle wichtigen Informationen erfasst hat. Ebenso anschließendes Fact-Checking mit einem anderen LRM. Token-basierte Fehler Token-basierte Rechenfehler entstehen, weil generative KI Text in Tokens verarbeitet, nicht Buchstabe für Buchstabe. „DEEPSEEK" wird zu „D/EEP/SEE/K", was Zählaufgaben erschwert und in solchen Fällen zu Halluzinationen führen kann. Das bekannteste Beispiel ist die Frage nach der Anzahl von "E" in "Erdbeere". Reine LLMs antworten hier aufgrund der Tokens üblicherweise mit "Drei". Memory-Funktionen „Erinnerungs"-Funktionen wie in ChatGPT „Memories" können Informationen und Vorlieben der Nutzer:innen speichern und die Antworten der Modelle verzerren. Das ist insbesondere dann ein Problem, wenn Sie verschiedene Aufgaben lösen wollen, die unterschiedliche Herangehensweisen, Tonalitäten und Quellen erfordern. Ihre Checkliste für den Alltag Vor dem KI-Einsatz klären: Wie kritisch ist die Aufgabe für mein Geschäft? Wer wird das System nutzen und wie gut kennen sie sich aus? Wie würde ich Fehler erkennen und korrigieren? Brauche ich Experten-Kontrolle oder reichen Stichproben? Beim Prompt-Design beachten: Unwissen explizit erlauben: „Es ist okay zu sagen 'Weiß ich nicht'„ Quellenangaben einfordern: „Belege jede Behauptung mit konkreten Quellen" Anti-Schmeichel-Hinweise: „Sei kritisch, nicht zustimmend" Schritt-für-Schritt-Anweisungen: „Erkläre dein Vorgehen" Bei der Nutzung testen: Wichtige Fragen mehrmals in verschiedenen Formulierungen stellen Warnsignale beachten: Zu selbstsicher? Keine Quellen? Widersprüche? Bei kritischen Informationen: Best-of-N Tests durchführen Unsicherheit provozieren: „Bist du sicher? Woher weißt du das?" Systemisch absichern: Aktuelle Wissensquellen über RAG anbinden Temperatur-Einstellungen für faktische Aufgaben reduzieren Automatische Eskalation bei niedrigen Confidence-Scores Regelmäßige Team-Schulungen zu Halluzinations-Erkennung Bei Problemen reagieren: Fehlerhafte Informationen sofort stoppen Transparente Korrektur kommunizieren Ursachen analysieren und Prozesse anpassen Aus Vorfällen lernen und Präventionsmaßnahmen verbessern Die wichtigste Erkenntnis: Haben Sie keine Angst vor KI-Halluzinationen. Sie sind ein lösbares Problem, wenn Sie die richtigen Strategien anwenden. KI-Systeme können enormen Wert schaffen, auch wenn sie nicht perfekt sind – genau wie menschliche Mitarbeiter auch. Der Schlüssel liegt im intelligenten Risikomanagement, nicht in der Vermeidung der Technologie. Werden Sie zum kritischen Partner Ihrer KI. Professionelle Arbeit mit KI nutz die Stärken der Modelle und gleich deren Schwächen durch durchdachte Prozesse aus.

KI-Halluzinationen - Praxisleitfaden zur Erkennung und Vermeidung

Was sind KI-Halluzinationen?

Verpassen Sie keineaktuellen KI‑Einblicke.

Verpassen Sie keine
aktuellen KI‑Einblicke.