Anders als bei klassischer Software, die bei einem Fehler oft abstürzt oder eine Fehlermeldung ausgibt, „scheitert“ ein Sprachmodell in der Regel leise. Es liefert eine grammatikalisch einwandfreie, gut strukturierte Antwort – und der einzige Mangel ist, dass ihr Inhalt nicht stimmt. Ein Modell kann eine Rechtsnorm zitieren, die es nicht gibt, eine Studie „erfinden“, ein Datum verdrehen oder eine technische Spezifikation frei zusammensetzen. Für Anwender:innen ohne Fachkenntnis ist der Unterschied zwischen einer korrekten und einer halluzinierten Antwort auf den ersten Blick oft nicht erkennbar.
Wichtig ist ein nüchternes Grundverständnis: Halluzinationen sind kein Bug, der sich mit dem nächsten Update vollständig beheben lässt, sondern eine systembedingte Eigenschaft der heute verbreiteten generativen Modelle. Sie lassen sich durch gute Technik und gute Prozesse erheblich reduzieren – aber nach aktuellem Stand nicht auf null bringen. Wer diese Realität akzeptiert, kann souverän damit umgehen. Wer sie ignoriert, riskiert, dass fehlerhafte KI-Ausgaben ungeprüft in Angebote, Beratungen, Verträge oder öffentliche Kommunikation gelangen.
Der Begriff „Halluzination“ hat sich eingebürgert, ist aber eine Metapher – und wie jede Metapher hat er Grenzen. Er suggeriert, das Modell „sehe“ etwas, das nicht da ist, oder „glaube“ an etwas Falsches. Beides trifft nicht zu: Ein Sprachmodell hat kein Bewusstsein, keine Überzeugungen und keine Absicht. Präziser wäre, von konfabulierten oder nicht fundierten Ausgaben zu sprechen – von Text, den das Modell statistisch erzeugt, ohne dass er durch verlässliches Wissen oder durch die vorgelegte Quelle gedeckt wäre.
Diese Unterscheidung ist nicht nur akademisch. Wer versteht, dass ein Modell nicht „lügt“, sondern lediglich das statistisch wahrscheinlichste nächste Wort erzeugt, versteht auch, warum Halluzinationen entstehen und wo man ansetzen muss, um sie zu vermeiden. Der nächste Abschnitt greift genau diesen Mechanismus auf.
Nicht jede falsche KI-Ausgabe ist eine Halluzination im engeren Sinn. Es lohnt sich, drei verwandte, aber unterschiedliche Phänomene auseinanderzuhalten. Eine Halluzination ist eine erfundene oder nicht fundierte Aussage, die das Modell mit scheinbarer Sicherheit produziert. Ein schlichter Fehler kann auch dadurch entstehen, dass die Eingabe unvollständig, mehrdeutig oder selbst falsch war – hier liegt die Ursache eher im Prompt als im Modell. Und ein Bias beschreibt eine systematische Verzerrung, etwa eine unfaire Bevorzugung oder Benachteiligung bestimmter Gruppen, die aus den Trainingsdaten stammt.
In der Praxis überlappen sich diese Phänomene, und die Gegenmaßnahmen ähneln sich teilweise. Für eine saubere Risikoanalyse ist die Trennung dennoch hilfreich: Bias adressiert man vor allem über Datenqualität und Fairness-Prüfungen, Prompt-bedingte Fehler über besseres Prompt-Design, und Halluzinationen über eine Kombination aus Grounding, Guardrails und menschlicher Prüfung. Dieser Artikel konzentriert sich auf die Halluzination – verweist aber an den passenden Stellen auf die verwandten Themen.
Ein Sprachmodell ist im Kern ein extrem leistungsfähiger Wahrscheinlichkeitsrechner für Sprache. Es hat während des Trainings gelernt, aus riesigen Textmengen Muster abzuleiten, und sagt bei jeder Ausgabe – vereinfacht gesagt – das statistisch wahrscheinlichste nächste Textstück voraus, Wort für Wort beziehungsweise Token für Token. Es hat dabei keine interne „Faktendatenbank“, in der es nachschlägt, ob etwas wahr ist. Es hat ein Sprachgefühl dafür, was plausibel klingt. Und plausibel klingend ist eben nicht dasselbe wie wahr.
Der wichtigste Grund für Halluzinationen liegt in der Natur der Sache. Das Modell optimiert darauf, flüssigen, kohärenten Text zu erzeugen, der zum Kontext passt – nicht darauf, verifizierte Fakten wiederzugeben. Wenn zu einer Frage im „Sprachraum“ des Modells eine überzeugend klingende Formulierung existiert, wird das Modell sie mit hoher Wahrscheinlichkeit produzieren, auch wenn ihr Inhalt nicht stimmt. Dazu kommt, dass die Generierung ein gewisses Maß an Zufall enthält (oft über einen Parameter wie die „Temperatur“ gesteuert): Dieselbe Frage kann zu leicht unterschiedlichen Antworten führen – ein Hinweis darauf, dass das Modell nicht aus einer festen Wahrheit schöpft, sondern aus einer Wahrscheinlichkeitsverteilung.
Eine verstärkende Rolle spielt, dass die Modelle im Training darauf ausgerichtet werden, hilfreich und antwortfreudig zu sein. Ein Modell, das häufig „Das weiß ich nicht“ sagt, wird von Nutzer:innen oft als weniger nützlich empfunden. Diese Tendenz, lieber eine Antwort zu geben als keine, begünstigt selbstsichere Aussagen auch dort, wo Zurückhaltung angebracht wäre. Genau hier setzen später Prompting-Techniken an, die dem Modell das Eingeständnis von Unsicherheit ausdrücklich erlauben.
Die zweite große Ursache ist schlicht das Wissen des Modells selbst. Ein Sprachmodell kennt nur, was in seinen Trainingsdaten enthalten war – und dieses Wissen hat einen Stichtag (den sogenannten Knowledge-Cutoff). Fragen zu Ereignissen, Produkten oder Regelungen nach diesem Stichtag kann das Modell aus sich heraus nicht verlässlich beantworten. Statt das offen zu benennen, füllt es die Lücke oft mit einer plausibel wirkenden Erfindung.
Hinzu kommen Wissenslücken bei Nischenthemen. Zu breit dokumentierten Allgemeinthemen ist ein Modell meist verlässlicher als zu sehr speziellen, selten beschriebenen Fragen – etwa firmeninternen Prozessen, regionalen Besonderheiten oder hochspezialisiertem Fachwissen. Gerade dort, wo im Trainingsmaterial wenig belastbare Information vorhanden war, steigt das Halluzinationsrisiko spürbar an. Wie stark, hängt vom Modell, vom Thema und von der Fragestellung ab und ist studienabhängig – eine pauschale „Halluzinationsrate“ gibt es nicht.
Die dritte Ursache liegt nicht im Modell, sondern in der Eingabe. Ein vager, mehrdeutiger oder in sich widersprüchlicher Prompt zwingt das Modell zum Raten – und Raten ist ein Nährboden für Halluzinationen. Wenn eine Frage unklar formuliert ist, versucht das Modell, die vermeintliche Absicht zu erfüllen, und erfindet dabei mitunter Details, die nie gefragt waren. Auch das Vorspiegeln falscher Annahmen im Prompt ist heikel: Enthält die Frage bereits eine unzutreffende Prämisse („Wie hat sich das Gesetz X von 2027 ausgewirkt?“), neigt das Modell dazu, die Prämisse zu übernehmen und darauf aufbauend zu konfabulieren.
Ein weiterer Auslöser ist Überforderung durch zu komplexe oder zu lange Aufgaben. Muss ein Modell in einem Schritt zu viele Teilaufgaben lösen oder sehr lange Kontexte verarbeiten, steigt die Fehleranfälligkeit. Das ist eine gute Nachricht, denn dieser Anteil des Risikos ist unmittelbar beeinflussbar: durch präzisere, strukturierte und in Teilschritte zerlegte Prompts – ein Thema, das in Kapitel 06 vertieft und im Grundlagenbeitrag zum Prompt-Engineering weiter ausgeführt wird.
Die bekannteste Form ist die faktische Halluzination: Das Modell behauptet etwas über die Welt, das nicht stimmt. Das reicht vom verdrehten Geburtsdatum einer Person über eine falsche technische Kennzahl bis zu einer erfundenen gesetzlichen Frist. Besonders heikel sind faktische Halluzinationen bei Zahlen, Daten und Eigennamen, weil hier schon kleine Abweichungen große Wirkung haben – eine falsche Ziffer in einem Grenzwert oder einem Preis kann eine ganze Kalkulation kippen. Erkennen lassen sie sich nur durch Abgleich mit einer verlässlichen Quelle; das bloße „Klingt plausibel“ ist kein Kriterium.
In vielen Geschäftsanwendungen bekommt das Modell ein Dokument vorgelegt und soll damit arbeiten – etwa einen Vertrag zusammenfassen, aus einer Richtlinie eine Frage beantworten oder ein Protokoll auswerten. Eine kontextuelle Halluzination liegt vor, wenn die Antwort vom vorgelegten Material abweicht: Das Modell erfindet eine Klausel, die nicht im Vertrag steht, überträgt eine Aussage auf einen falschen Abschnitt oder ergänzt „Wissen“, nach dem gar nicht gefragt war. Diese Art ist im Mittelstand besonders relevant, weil dokumentenbasierte Anwendungen (Zusammenfassen, Beantworten, Extrahieren) zu den häufigsten Einsatzfeldern gehören – und weil sie zugleich am besten beherrschbar ist, sobald man die Antwort konsequent gegen die Quelle prüft.
Am heimtückischsten ist die Erfindung von Belegen. Wenn ein Modell aufgefordert wird, seine Aussagen zu belegen, kann es Studien, Paragrafen, Gerichtsurteile, Normen, Buchtitel oder Internetadressen erzeugen, die es schlicht nicht gibt – oft in korrekter Zitierform und damit täuschend echt. Der Schaden ist hier besonders groß, weil erfundene Quellen die Aussage seriöser wirken lassen, als sie ist, und weil sie in Schriftsätzen, Fachtexten oder Angeboten großen Vertrauensschaden anrichten können. Die einzig verlässliche Gegenmaßnahme ist, jede vom Modell genannte Quelle unabhängig zu verifizieren, bevor man sich darauf beruft. Eine Quelle, die nur das Modell kennt, ist keine Quelle.
Das Grundrisiko ist einfach beschrieben: Eine falsche KI-Ausgabe wird für richtig gehalten und fließt ungeprüft in eine Entscheidung, ein Dokument oder eine Kommunikation ein. Ab diesem Moment ist die Halluzination kein Modellproblem mehr, sondern ein Unternehmensproblem – mit realen Konsequenzen für Kund:innen, Partner und das eigene Haus. Die Schadenshöhe hängt weniger vom Modell ab als vom Anwendungsfall: Ein halluzinierter Vorschlag in einem internen Brainstorming ist harmlos; eine halluzinierte Rechtsauskunft gegenüber einem Kunden ist es nicht.
Die Frage nach der Haftung lässt sich nicht pauschal beantworten – sie hängt vom konkreten Sachverhalt, der Rolle der Beteiligten, den vertraglichen Vereinbarungen und dem anwendbaren Recht ab. Ein Grundgedanke ist jedoch weithin robust: Der Umstand, dass ein Fehler von einer KI stammt, entbindet ein Unternehmen in aller Regel nicht von seiner Verantwortung gegenüber Dritten. Wer eine KI-Ausgabe zur Grundlage einer Auskunft, eines Produkts oder einer Dienstleistung macht, kann für deren Richtigkeit einzustehen haben, so als hätte ein Mensch die Aussage getroffen. Die KI ist ein Werkzeug – und für den Einsatz eines Werkzeugs ist regelmäßig derjenige verantwortlich, der es nutzt.
Für die Praxis folgt daraus ein klarer Grundsatz: Verlässlichkeit muss durch Prozesse hergestellt werden, nicht durch Hoffnung auf ein fehlerfreies Modell. Dazu gehören eine dokumentierte menschliche Prüfung in kritischen Fällen (Kapitel 07), klare interne Regeln für den KI-Einsatz und – wo sinnvoll – vertragliche Klarstellungen mit Anbietern und Kunden. Wie diese Fragen im konkreten Fall zu bewerten sind, gehört in fachjuristische Hände; dieser Artikel liefert dazu ausdrücklich keine Rechtsberatung.
Die Grundidee ist einfach und einleuchtend: Statt das Modell zu fragen „Was weißt du über X?“, gibt man ihm zunächst die relevanten, geprüften Quellen mit und fragt dann „Beantworte X ausschließlich auf Basis dieser Unterlagen.“ Das Modell muss die Antwort dann nicht aus seinem statistischen Sprachgedächtnis konstruieren, sondern kann sie aus vorgelegtem, verlässlichem Material ableiten. Man verlagert die Wissensquelle vom Modell in eine kontrollierte Dokumentenbasis – und reduziert damit genau jene Fälle, in denen das Modell mangels Wissen zu konfabulieren beginnt.
Bei RAG wird der Frage ein Suchschritt vorgeschaltet. Aus einer unternehmenseigenen Wissensbasis – etwa Handbüchern, Richtlinien, Produktdaten oder einer Dokumentensammlung – werden zunächst die zur Frage passenden Textstellen herausgesucht. Diese Fundstellen werden dem Modell zusammen mit der eigentlichen Frage übergeben, und das Modell formuliert seine Antwort auf ihrer Grundlage. Der große Vorteil: Die Antwort stützt sich auf aktuelles, unternehmensspezifisches und überprüfbares Material – und lässt sich idealerweise mit einer Quellenangabe versehen, sodass ein Mensch die Aussage direkt an der Fundstelle nachprüfen kann.
RAG adressiert dabei vor allem zwei der drei Ursachen aus Kapitel 02: das fehlende oder veraltete Wissen (weil aktuelle, eigene Quellen bereitgestellt werden) und – bei guter Umsetzung – die faktische Unsicherheit (weil das Modell nah an belegtem Material bleibt). Wichtig ist die realistische Erwartung: RAG verhindert Halluzinationen nicht automatisch. Das Modell kann die vorgelegten Quellen falsch interpretieren, sie mit „eigenem Wissen“ vermischen oder – bei schlechtem Retrieval – auf unpassende Fundstellen zurückgreifen. RAG ist ein starker Hebel, aber kein Selbstläufer; die Qualität von Wissensbasis und Suche entscheidet.
Über RAG hinaus fasst der Begriff Grounding allgemein alle Verfahren zusammen, die eine Modellantwort an überprüfbare Fakten oder Quellen „erden“. Dazu gehört etwa die Anweisung, ausschließlich auf Basis des mitgelieferten Kontexts zu antworten und bei fehlender Deckung offen „Dazu liegt mir keine Information vor“ zu sagen. Ein besonders praxistauglicher Baustein ist die Zitationspflicht: Das Modell soll für jede wesentliche Aussage die Fundstelle nennen. Das erleichtert die menschliche Prüfung enorm – und Aussagen ohne belegbare Fundstelle werden sofort als prüfbedürftig sichtbar.
Die Entscheidung zwischen RAG und anderen Ansätzen wie einem Fine-Tuning des Modells ist ein eigenes, wichtiges Thema. Als grobe Faustregel gilt: RAG eignet sich besonders, wenn es um aktuelles, sich änderndes oder faktenlastiges Wissen mit Nachweispflicht geht, während Fine-Tuning eher Stil, Format und Verhalten prägt. Für die Halluzinationsminderung ist RAG in vielen Fällen der direktere Hebel. Eine vertiefte Gegenüberstellung finden Sie im verwandten Beitrag „RAG vs. Fine-Tuning“.
Diese Ebene setzt an zwei Punkten an: Erstens daran, wie man die Frage stellt (Prompting), damit das Modell weniger Anlass zum Raten hat. Zweitens daran, wie man Eingaben und Ausgaben umgibt (Guardrails und Verifikation), damit fehlerhafte oder unbelegte Antworten erkannt und abgefangen werden. Keine dieser Techniken ist für sich allein ausreichend – ihre Stärke liegt in der Kombination und im geschichteten Zusammenspiel.
Gutes Prompt-Design ist der günstigste und oft unterschätzte Hebel. Mehrere Muster haben sich bewährt: Dem Modell ausdrücklich erlauben, Unsicherheit einzugestehen („Wenn du es nicht sicher weißt, sage das offen und rate nicht“) senkt den Druck zur Konfabulation. Klare Rollen- und Kontextvorgaben grenzen die Aufgabe ein. Das Zerlegen komplexer Aufgaben in Teilschritte reduziert Überforderung. Und die Aufforderung, Aussagen zu belegen oder den Gedankengang nachvollziehbar zu machen, macht Schwachstellen sichtbar. Ebenso hilfreich ist es, dem Modell die relevanten Fakten oder Quellen direkt mitzugeben, statt sich auf sein internes Wissen zu verlassen – der Übergang zum Grounding ist fließend.
Ein weiterer wirksamer Ansatz ist die Vorgabe eines klaren Ausgabeformats und einer klaren „Absprungregel“: Das Modell soll bei fehlender Information eine definierte Standardantwort geben, statt eine Lücke kreativ zu füllen. Solche scheinbar kleinen Formulierungen haben in der Praxis große Wirkung. Weitere Muster und Beispiele finden sich im verwandten Grundlagenartikel zum Prompt-Engineering.
Guardrails sind Prüf- und Filterschichten, die eine KI-Anwendung umgeben. Auf der Eingabeseite können sie unzulässige oder riskante Anfragen abfangen; auf der Ausgabeseite prüfen sie die Antwort, bevor sie an Nutzer:innen gelangt. Typische Guardrails im Kontext von Halluzinationen sind etwa: die Prüfung, ob eine Antwort überhaupt durch die vorgelegten Quellen gedeckt ist; das Erzwingen von Quellenangaben; das Blockieren oder Kennzeichnen von Antworten, die genannte Belege nicht verifizieren können; sowie Formatprüfungen, die etwa erfundene Aktenzeichen oder unplausible Zahlen erkennen. Guardrails machen aus einem „rohen“ Modell eine kontrollierte Anwendung – sie sind der Rahmen, in dem das Modell arbeiten darf.
Eine dritte Ebene ist die automatische Nachprüfung. Hier wird eine erste Antwort nicht ungeprüft ausgegeben, sondern durchläuft einen weiteren Schritt: Das Modell (oder ein zweites Modell) wird angehalten, die Antwort gegen die Quellen zu prüfen, Widersprüche aufzudecken oder die Belegbarkeit jeder Aussage zu bewerten. Auch der Abgleich mit externen, verlässlichen Systemen gehört hierher – etwa das Nachrechnen einer Kalkulation in einer echten Rechenumgebung statt „im Kopf“ des Modells, oder das Nachschlagen einer Kennzahl in einer autoritativen Datenbank. Diese automatischen Prüfschritte fangen einen Teil der Fehler ab, bevor ein Mensch überhaupt eingreifen muss.
Wichtig bleibt die realistische Einordnung: Auch automatische Verifikation ist nicht unfehlbar – ein Prüfmodell kann selbst irren. Sie senkt aber die Fehlerquote spürbar und filtert offensichtliche Halluzinationen heraus. In kritischen Anwendungen ist sie deshalb eine sinnvolle Zwischenschicht, die die menschliche Prüfung entlastet, ohne sie zu ersetzen.
Das Leitbild dafür heißt „Human in the Loop“ beziehungsweise – bei Kontrolle über den laufenden Betrieb – „Human on the Loop“: Ein Mensch behält die letzte Verantwortung und kann eingreifen, korrigieren oder eine KI-Ausgabe zurückweisen. Das ist keine Technikfeindlichkeit, sondern gute Praxis: KI übernimmt die Fleißarbeit und liefert Entwürfe, der Mensch trägt die Verantwortung für das Ergebnis. Entscheidend ist, dass diese Aufsicht wirksam ist – also nicht zum bloßen Abnicken verkommt, sondern mit ausreichend Zeit, Kompetenz und Befugnis ausgestattet ist.
Nicht jede KI-Ausgabe muss gleich intensiv geprüft werden – das wäre weder leistbar noch sinnvoll. Bewährt hat sich eine risikobasierte Staffelung: Je höher das Schadenspotenzial einer Ausgabe, desto strenger die Prüfung. Für unkritische interne Entwürfe genügt oft eine flüchtige Plausibilitätskontrolle. Für Inhalte mit Außenwirkung – Angebote, Kundenkommunikation, Fachauskünfte – braucht es eine gründliche fachliche Prüfung. Für rechtlich oder sicherheitsrelevante Aussagen ist eine Freigabe durch qualifizierte Personen erforderlich, oft mit Vier-Augen-Prinzip. Diese Staffelung sorgt dafür, dass die knappe Ressource „menschliche Prüfzeit“ dort landet, wo sie den größten Nutzen stiftet.
Damit die Prüfung gelingt, braucht es zwei Voraussetzungen: Belegbarkeit und Fachkompetenz. Belegbarkeit bedeutet, dass jede wesentliche Aussage eine nachprüfbare Fundstelle hat (siehe Zitationspflicht in Kapitel 05) – nur so lässt sich effizient prüfen, statt jede Aussage neu zu recherchieren. Fachkompetenz bedeutet, dass die prüfende Person die Materie beurteilen kann; eine fachfremde Person übersieht eine fachliche Halluzination leicht. Beides zusammen macht menschliche Aufsicht wirksam statt symbolisch. Eine Vertiefung bietet der verwandte Beitrag zur menschlichen Aufsicht (Human Oversight).
Über die einzelne Prüfung hinaus braucht es organisatorische Verankerung. Dazu gehören klare Regeln, wofür KI genutzt werden darf und wofür nicht, ein definierter Freigabeweg für kritische Ausgaben, eine dokumentierte Prüfung als Nachweis sowie ein Weg, erkannte Halluzinationen zu melden und daraus zu lernen. Ebenso wichtig ist die KI-Kompetenz der Beschäftigten: Wer versteht, dass KI-Ausgaben plausibel klingende Fehler enthalten können, prüft aufmerksamer und vertraut nicht blind. Diese Kompetenz ist zugleich ein regulatorischer Baustein – der EU AI Act adressiert die KI-Kompetenz ausdrücklich (siehe Kapitel 09).
Schließlich hilft eine gesunde Fehlerkultur: Halluzinationen sind keine Schande, sondern eine bekannte Eigenschaft der Technologie. Ein Umfeld, in dem das offene Melden eines KI-Fehlers erwünscht ist, deckt Schwachstellen früher auf als eines, in dem Fehler vertuscht werden. So wird aus einzelnen Prüfungen ein lernendes System.
Der Grundgedanke ist eine einfache Risiko-Landkarte: Auf der einen Seite stehen unkritische Anwendungen, bei denen ein gelegentlicher Fehler leicht auffällt und wenig kostet – etwa Ideensammlungen, erste Textentwürfe, interne Zusammenfassungen oder Formulierungshilfen. Hier kann KI relativ frei genutzt werden, mit leichter Plausibilitätskontrolle. Auf der anderen Seite stehen kritische Anwendungen, bei denen eine Halluzination großen Schaden anrichten kann – etwa verbindliche Kundenauskünfte, rechtliche oder medizinische Aussagen, Finanzkalkulationen oder sicherheitsrelevante Informationen. Hier braucht es das volle Programm aus Grounding, Guardrails und verpflichtender menschlicher Freigabe.
Einige Einsatzfelder verdienen im Mittelstand besondere Aufmerksamkeit, weil sie häufig vorkommen und zugleich fehleranfällig sind. Kundenchatbots etwa geben Auskünfte, die als verbindliche Aussagen des Unternehmens wahrgenommen werden – eine halluzinierte Zusage kann teuer werden; hier sind Grounding an geprüfte Inhalte und klare Grenzen des Zuständigkeitsbereichs Pflicht. In HR-Anwendungen (etwa Vorauswahl oder Bewertung) kommen zur Halluzination Fairness- und Rechtsfragen hinzu; solche Anwendungen können regulatorisch besonders sensibel sein. In der Fachberatung – ob technisch, steuerlich oder rechtlich – ist jede unbelegte KI-Aussage ein Risiko; hier ist die qualifizierte menschliche Prüfung nicht verhandelbar.
Für all diese Fälle gilt dieselbe Logik: Je verbindlicher und folgenreicher die Ausgabe, desto stärker die Absicherung. Das bedeutet nicht, auf KI zu verzichten – es bedeutet, sie in einen kontrollierten Rahmen zu stellen. Oft ist die beste Lösung eine KI, die intern Entwürfe und Vorschläge liefert, während der verbindliche Schritt nach außen durch einen Menschen freigegeben wird.
Aus unserer Projektpraxis hat sich ein schrittweises Vorgehen bewährt, das ohne großen Apparat auskommt und trotzdem belastbar ist.
Die zentrale Wahrheit lautet: Nach aktuellem Stand lässt sich das Halluzinationsrisiko erheblich senken, aber nicht auf null bringen. Grounding, Guardrails, Verifikation und menschliche Prüfung bauen ein mehrschichtiges Sicherheitsnetz – doch jede Schicht hat Lücken, und in seltenen Fällen kann eine Halluzination alle Schichten passieren. Ein verantwortungsvoller KI-Einsatz plant deshalb mit einem Restrisiko und trifft Vorkehrungen für den Fall, dass doch einmal ein Fehler durchrutscht – etwa Korrekturprozesse, klare Zuständigkeiten und eine transparente Kommunikation gegenüber Betroffenen.
Der richtige Umgang mit dem Restrisiko ist keine Frage der Technik, sondern der Haltung. Wer weiß, dass ein Restrisiko bleibt, wird kritische Aussagen niemals allein einer KI überlassen, wird verbindliche Kommunikation immer durch einen Menschen freigeben lassen und wird gegenüber Kund:innen dort Transparenz schaffen, wo KI im Spiel ist. Konkrete Fehlerhäufigkeiten variieren stark je nach Modell, Aufgabe, Domäne und Absicherung; belastbare Aussagen dazu sind studienabhängig, und pauschale Prozentzahlen führen eher in die Irre. Entscheidend ist nicht die exakte Rate, sondern die Einsicht, dass die Rate nie null ist – und dass genau deshalb Prozesse gebraucht werden.
Halluzinationen sind nicht nur ein Qualitätsthema, sondern berühren mehrere Regelungsbereiche. Aus Sicht der DSGVO ist besonders heikel, wenn ein Modell falsche Aussagen über eine Person erzeugt: Erfundene oder verdrehte personenbezogene Informationen können den Grundsatz der Richtigkeit betreffen und Betroffenenrechte auslösen – etwa den Anspruch auf Berichtigung. Wer KI zur Verarbeitung personenbezogener Daten einsetzt, sollte die Fehleranfälligkeit deshalb ausdrücklich mitdenken. Wie das im Einzelfall zu bewerten ist, gehört in die datenschutzrechtliche Prüfung; der verwandte Beitrag zu KI und DSGVO vertieft diesen Zusammenhang.
Aus Sicht des EU AI Act sind Halluzinationen an mehreren Stellen relevant. Für Hochrisiko-Systeme fordert die Verordnung nach aktuellem Stand ein angemessenes Niveau an Genauigkeit und Robustheit sowie wirksame menschliche Aufsicht – genau die Prinzipien, die auch gegen Halluzinationen wirken. Übergreifend gilt zudem die Pflicht zur KI-Kompetenz der Beschäftigten, die ein Bewusstsein für Grenzen und Risiken der Technologie einschließt. Ob und wie diese Anforderungen ein konkretes System treffen, ist eine Frage des Einzelfalls und fachjuristisch zu klären. Eine ausführliche Einordnung bietet der Beitrag zum EU AI Act in dieser Kategorie.
Der Umgang mit Halluzinationen ist letztlich ein Baustein des größeren Ziels einer vertrauenswürdigen KI (Trustworthy AI): einer KI, die zuverlässig, transparent, fair und beherrschbar ist. Verlässlichkeit – also die Reduktion und Kontrolle von Halluzinationen – gehört ebenso dazu wie Fairness, Nachvollziehbarkeit (siehe den Beitrag zu erklärbarer KI) und Datenschutz. Ein Unternehmen, das diese Bausteine zusammendenkt, betreibt KI nicht nur regelkonform, sondern schafft echtes Vertrauen bei Kund:innen, Mitarbeitenden und Partnern.
Für die Praxis bedeutet das: Behandeln Sie das Halluzinationsthema nicht isoliert, sondern als Teil Ihres KI-Qualitätsmanagements und Ihrer KI-Governance. Die eingesetzten Mittel – Grounding, Guardrails, menschliche Prüfung, Schulung – zahlen gleichzeitig auf Qualität, Compliance und Vertrauen ein. So wird aus einer technischen Herausforderung ein strategischer Vorteil.
