Zum Inhalt springen
SONOYA.com
KI

KI-Halluzinationen erkennen und vermeiden: so prüfst Du

ChatGPT, Claude oder Gemini erfinden Quellen und Zahlen? Mit diesen Prompts und einer Prüfroutine in fünf Schritten erkennst Du Halluzinationen sicher.

Von

Lupe mit Häkchen auf dunkelrotem Grund als Symbol dafür, Antworten von ChatGPT, Claude und Gemini auf erfundene Fakten zu prüfen

Du fragst ChatGPT nach einer Studie und bekommst Autor, Jahr und Zeitschrift, nur gibt es den Artikel nicht. Claude nennt Dir einen Paragrafen, der etwas ganz anderes regelt, und Gemini schlägt einen Terminalbefehl mit einer Option vor, die das Programm gar nicht kennt. Solche KI-Halluzinationen klingen genauso überzeugt wie richtige Antworten, und genau das macht sie tückisch. Hier erfährst Du, warum Sprachmodelle Dinge erfinden, bei welchen Fragen Du besonders vorsichtig sein solltest und mit welchen Prompts und welcher Prüfroutine Du falsche Angaben findest, bevor sie Dir schaden.

Die Funktionsangaben in diesem Artikel sind gegen die offiziellen Hilfeseiten von Anthropic, OpenAI und Google geprüft, Stand 18. November 2026. Die Prüfroutine selbst funktioniert bei jedem Chatbot, auch bei lokalen Modellen.

Warum Sprachmodelle halluzinieren

Ein Sprachmodell schlägt nicht in einer Datenbank nach. Es erzeugt Text Wort für Wort und wählt dabei jeweils eine Fortsetzung, die nach allem, was es im Training gesehen hat, wahrscheinlich passt. Bei gut belegtem Wissen trifft diese Wahrscheinlichkeit meist die Wahrheit. Bei seltenen Fakten, genauen Zahlen oder Details, die im Training kaum vorkamen, entsteht dagegen etwas, das plausibel klingt, aber nicht stimmt: ein Buchtitel im richtigen Stil, eine Versionsnummer im richtigen Format, ein Zitat im Tonfall der Person.

Hinzu kommt, dass die Modelle lange darauf trainiert wurden, überhaupt eine Antwort zu geben. Forscher von OpenAI und dem Georgia Institute of Technology beschreiben im Paper Why Language Models Hallucinate, dass gängige Trainings- und Bewertungsverfahren das Raten belohnen und ein ehrliches „weiß ich nicht” bestrafen. Das Modell lernt also, lieber selbstbewusst zu raten. OpenAI weist im eigenen Hilfeartikel Does ChatGPT tell the truth? ausdrücklich darauf hin, dass ChatGPT auch bei falschen Antworten große Sicherheit ausdrücken kann. Wie sicher eine Antwort klingt, sagt Dir deshalb nichts darüber, ob sie stimmt.

Wo das Risiko besonders hoch ist

Bei allgemeinen Erklärungen („Wie funktioniert ein VPN?”) liegen die großen Modelle selten grob daneben. Misstrauisch solltest Du immer dann werden, wenn die Antwort etwas sehr Genaues enthält:

  • Quellen und Zitate: Studien, Buchtitel, Gerichtsurteile, wörtliche Zitate und Links. Gerade hier erfindet ein Modell gern vollständige, korrekt formatierte Angaben.
  • Zahlen: Preise, Statistiken, Grenzwerte, Termine, technische Daten.
  • Nischenwissen: kleine Firmen, lokale Vorschriften, Personen ohne große Bekanntheit, seltene Geräte.
  • Aktuelles: alles nach dem Trainingsstand des Modells, wenn es nicht im Web sucht.
  • Software: Befehle, Optionen, Konfigurationsschlüssel, Paketnamen und API-Parameter, vor allem bei neuen Versionen.
  • Aussagen des Modells über sich selbst: Google warnt in der Gemini-Hilfe zu Antworten, dass Gemini auch falsch darstellen kann, wie es selbst funktioniert, etwa ob es Quellen nutzt.

Drei Prompt-Regeln, die sofort helfen

Anthropic beschreibt in der Entwicklerdoku Reduce hallucinations mehrere Techniken. Drei davon funktionieren auch im normalen Chat, und zwar bei Claude genauso wie bei ChatGPT oder Gemini.

Nichtwissen ausdrücklich erlauben

Gib dem Modell die Erlaubnis, eine Lücke zuzugeben. Laut Anthropic verringert schon das die Zahl falscher Angaben deutlich:

Code
Beantworte die folgende Frage nur, wenn Du Dir sicher bist.
Wenn Du etwas nicht weißt oder nur vermutest, schreib ausdrücklich
"Das weiß ich nicht sicher" und erfinde keine Details.
Frage: Seit welcher Version unterstützt Programm X die Option --foo?

Ersetze die letzte Zeile durch Deine eigene Frage. Bekommst Du danach ein „Das weiß ich nicht sicher”, ist das kein Versagen, sondern genau die Information, die Du brauchst: An dieser Stelle musst Du selbst nachschlagen.

Material mitgeben und das Modell darauf festlegen

Die zuverlässigste Methode ist, dem Modell die Fakten selbst zu liefern, statt sie aus seinem Gedächtnis abzurufen. Füge den Text ein oder lade das PDF hoch, und schreib dazu:

Code
Nutze für Deine Antwort ausschließlich das angehängte Dokument,
nicht Dein allgemeines Wissen. Wenn das Dokument die Frage nicht
beantwortet, schreib "Steht nicht im Dokument".
Frage: Welche Kündigungsfrist gilt laut Vertrag?

Bei langen Dokumenten hilft es zusätzlich, wenn das Modell zuerst die passenden Stellen wörtlich herauszieht und erst danach antwortet.

Belege verlangen und gegenprüfen lassen

Lass Dir zu jeder Aussage die Stelle zeigen, auf der sie beruht. Das macht die Antwort überprüfbar, und das Modell muss Aussagen ohne Beleg wieder zurücknehmen:

Code
Prüfe Deine letzte Antwort Aussage für Aussage.
Nenne zu jeder Aussage das wörtliche Zitat aus dem Dokument
oder die Quelle mit Link, auf der sie beruht.
Streiche jede Aussage, für die Du keinen Beleg findest,
und markiere die Stelle mit [entfernt].

Wichtig ist der letzte Satz. Ohne ihn liefert ein Modell zur erfundenen Aussage manchmal gleich die erfundene Quelle mit.

Websuche und eigene Dateien als Grundlage

Ein Modell, das im Web sucht, antwortet auf Basis aktueller Seiten und zeigt Dir, woher es seine Angaben hat. Das ersetzt nicht den Blick in die Quelle, macht ihn aber erst möglich.

  • Claude: Laut Anthropic-Hilfe zur Websuche schaltest Du die Suche über das Plus-Symbol unten links im Eingabefeld und den Eintrag „Websuche” (englisch „Web search”) ein. Claude zitiert dann seine Quellen direkt in der Antwort. In Team- und Enterprise-Konten muss der Administrator die Funktion vorher freigeben, und in der neuen Claude-Oberfläche gibt es keinen Schalter mehr, dort sucht Claude selbst, wenn es das für sinnvoll hält.
  • ChatGPT: ChatGPT sucht selbstständig im Web, wenn die Frage aktuelle Informationen braucht, und Du kannst die Suche über das Werkzeug-Menü im Eingabefeld auch gezielt auswählen. Die Antwort enthält dann Quellenangaben im Text und, wo verfügbar, eine Schaltfläche „Quellen” (englisch „Sources”) mit den zitierten und weiteren passenden Links. OpenAI schreibt in der Hilfe Searching the web with ChatGPT selbst, dass Suchergebnisse und Quellenangaben unvollständig, veraltet oder falsch sein können, und rät, die verlinkte Seite und ihr Datum zu prüfen.
  • Gemini: Hat Gemini für eine Antwort Quellen genutzt, erscheint laut Gemini-Hilfe zu zugehörigen Quellen eine Schaltfläche für die Quellen in oder unter der Antwort. Ein Klick öffnet am Computer rechts eine Seitenleiste mit den Links. Fehlt die Schaltfläche, hat Gemini für diese Antwort keine Quellen angegeben.

Für wiederkehrende Fragen zu denselben Unterlagen lohnt sich ein Projekt. In Claude lädst Du Dokumente über das Plus-Symbol in das Projektwissen, das dann in jedem Chat des Projekts zur Verfügung steht (Anthropic-Hilfe zu Projekten). In ChatGPT legst Du Dateien in einem Projekt als Quellen ab (OpenAI-Hilfe zu Projekten). Kombiniere das mit der Regel „nur aus diesen Dokumenten” von oben. Wenn Du sensible Unterlagen lieber gar nicht in die Cloud gibst, hilft Dir Eigene Dokumente lokal befragen: Ollama und Open WebUI weiter, und was die Anbieter mit hochgeladenen Daten machen dürfen, regelst Du mit KI-Training abschalten: Claude, ChatGPT und Gemini.

Die Prüfroutine in fünf Schritten

Nicht jede Antwort braucht einen Faktencheck. Ein Ideenvorschlag für ein Geburtstagsgeschenk darf danebenliegen, eine Dosierung, eine Frist oder ein Befehl auf Deinem Server nicht. Sobald Du auf Grundlage einer KI-Antwort handelst, gehst Du diese fünf Schritte durch:

  1. Prüfbare Aussagen markieren. Lies die Antwort und schreib Dir die Stellen heraus, die konkret und überprüfbar sind: Namen, Zahlen, Daten, Quellen, Befehle. Allgemeine Erklärungen kannst Du überspringen. Bei langen Antworten lässt Du das Modell die Liste erstellen: „Liste alle überprüfbaren Tatsachenbehauptungen aus Deiner Antwort als nummerierte Liste auf.”
  2. Jede Quelle öffnen. Klick jeden Link an und such auf der Seite nach der Aussage. Existiert die Seite nicht, behandelt sie ein anderes Thema oder steht die Zahl dort nicht, ist die Aussage unbelegt. Achte dabei auf das Datum der Seite, denn eine richtig zitierte, aber drei Jahre alte Angabe kann heute falsch sein.
  3. Quellen ohne Link selbst suchen. Bei Studien, Büchern und Urteilen suchst Du den exakten Titel in Anführungszeichen in einer Suchmaschine oder direkt beim Verlag, Gericht oder Hersteller. Findest Du nichts, ist die Quelle mit hoher Wahrscheinlichkeit erfunden.
  4. Gegenfrage in einem neuen Chat stellen. Stell dieselbe Frage in einem frischen Chat noch einmal, gern anders formuliert oder bei einem zweiten Anbieter. Anthropic nennt diesen Vergleich mehrerer Durchläufe als eigene Technik: Weichen die Antworten bei einem Detail voneinander ab, ist genau dieses Detail verdächtig. Übereinstimmung ist dagegen kein Beweis, denn Modelle können denselben Fehler teilen.
  5. Wichtiges an der Primärquelle entscheiden. Für alles mit Folgen, also Gesundheit, Recht, Geld und Eingriffe in Systeme, zählt am Ende nur die Primärquelle: das Gesetz, die Packungsbeilage, der Vertrag, die offizielle Doku. Die KI hat Dir den Weg dorthin gezeigt, die Entscheidung triffst Du mit der Quelle.

Nach ein paar Durchläufen erkennst Du die typischen Warnzeichen schneller: eine Quelle mit perfekt klingendem Titel, aber ohne Link, ein auffällig runder Zahlenwert oder eine Option, die verdächtig gut zu Deiner Frage passt. Genau dort schaust Du zuerst nach.

Zwei Fehler passieren dabei häufig. Der erste ist, das Modell nur zu fragen „Bist Du sicher?”. Darauf entschuldigt sich das Modell manchmal und ändert auch eine richtige Antwort, oder es bestätigt eine falsche, ohne neu nachzusehen. Frag stattdessen nach dem konkreten Beleg wie im Prompt oben. Der zweite Fehler ist, einer Quellenangabe zu vertrauen, ohne sie zu öffnen. Ein Link kann echt sein und trotzdem etwas anderes sagen, als die Antwort behauptet.

Sonderfall Code: Pakete und Parameter prüfen

Bei Code ist eine Halluzination nicht nur ärgerlich, sondern kann gefährlich werden. Schlägt Dir ein Modell ein Paket vor, das es nicht gibt, und registriert jemand genau diesen Namen später mit Schadcode, installierst Du ihn mit dem empfohlenen Befehl gleich mit. Prüf deshalb jedes unbekannte Paket, bevor Du es installierst. Für npm geht das ohne Installation direkt im Terminal:

Code
npm view express name version time.created repository.url

Ersetze express durch den Paketnamen aus der KI-Antwort. Der Befehl fragt nur die Registry ab und installiert nichts. Gibt es das Paket, siehst Du die aktuelle Version, das Erstellungsdatum und das verlinkte Repository. Gibt es das Paket nicht, endet der Befehl mit npm error 404. Ein Paket, das erst vor wenigen Tagen angelegt wurde und kein Repository nennt, solltest Du ebenfalls nicht installieren. Getestet mit npm 11.13 unter macOS. Für Python-Pakete öffnest Du im Browser https://pypi.org/project/<paketname>/ und prüfst dort dieselben Punkte.

Bei Optionen und API-Parametern ist der Weg ähnlich: Ruf <programm> --help oder man <programm> auf und such die Option dort, oder schlag sie in der offiziellen Doku der installierten Version nach. Wenn Du mit Claude Code arbeitest, kannst Du die passende Doku auch direkt einbinden, wie in MCP-Server in Claude Code und Codex einrichten beschrieben, damit der Agent nachschlägt statt zu raten.

Fazit: Die KI liefert den Entwurf, Du die Prüfung

Halluzinationen lassen sich nicht abschalten, auch Anthropic schreibt, dass die beschriebenen Techniken sie verringern, aber nicht vollständig beseitigen. Du bekommst sie aber gut in den Griff, wenn Du drei Gewohnheiten annimmst: Nichtwissen erlauben, eigenes Material oder die Websuche als Grundlage geben und bei allem mit Folgen die fünf Prüfschritte durchgehen. Wie das bei einer echten Recherche mit Quellen aussieht, zeigt Dir Kaufberatung per KI: Produkte mit Claude vergleichen, wo Du dieselbe Routine gleich auf Testberichte und Herstellerangaben anwenden kannst.

Weiterlesen.