Moderne KI-Modelle, insbesondere neuronale Netze und große Ensembles, sind oft leistungsstark, aber intransparent. Sie liefern ein Ergebnis – eine Vorhersage, eine Bewertung, eine Empfehlung –, ohne dass unmittelbar ersichtlich wäre, welche Faktoren dafür ausschlaggebend waren. Genau hier setzt XAI an: Es schließt die Lücke zwischen der reinen Ausgabe eines Modells und dem Verständnis, das Menschen brauchen, um Ergebnisse zu prüfen, ihnen zu vertrauen und Verantwortung dafür zu übernehmen. Erklärbarkeit ist damit kein akademisches Beiwerk, sondern eine praktische Voraussetzung dafür, KI in Bereichen einzusetzen, in denen Entscheidungen Konsequenzen haben.
Der Bedarf entsteht aus mehreren Richtungen zugleich. Fachlich wollen die Menschen, die ein System nutzen, dessen Ausgaben einordnen und Fehler erkennen können. Rechtlich verlangen europäische Rahmenwerke ein wachsendes Maß an Transparenz und Nachvollziehbarkeit. Ethisch ist eine unerklärbare, folgenreiche Entscheidung schwer zu rechtfertigen – gerade gegenüber Menschen, die von ihr betroffen sind. Und betriebswirtschaftlich ist ein Modell, das niemand versteht, ein Modell, dem niemand traut – und das damit selten produktiv eingesetzt wird.
Erklärbarkeit lässt sich nicht auf ein einzelnes Werkzeug reduzieren. Sie umfasst technische Verfahren, die Signale aus einem Modell herausziehen, aber genauso organisatorische Praktiken: die Dokumentation, wie ein Modell entstanden ist, die Definition, welche Erklärung welche Zielgruppe erhält, und die Prozesse, in denen Erklärungen tatsächlich genutzt werden. Ein technisch perfekt berechneter Erklärungswert ist wertlos, wenn ihn niemand liest, versteht oder in Entscheidungen einfließen lässt. XAI ist deshalb ebenso eine Frage der Modellwahl und der Rechenverfahren wie eine Frage der Governance und der Kommunikation.
Damit verbindet XAF zwei Welten, die in Unternehmen oft getrennt sind: die technische Entwicklung von Modellen und die verantwortungsvolle Steuerung ihres Einsatzes. Für den Mittelstand ist gerade diese Verbindung entscheidend, weil hier selten große Spezialteams existieren – Erklärbarkeit muss praktikabel, schlank und in bestehende Abläufe integrierbar sein, statt ein eigenes Großprojekt zu erfordern.
In den ersten Jahren des breiten KI-Einsatzes ging es vor allem um die Frage, ob ein Modell gut genug funktioniert – gemessen an Genauigkeit oder ähnlichen Kennzahlen. Diese Perspektive greift zu kurz, sobald KI in sensible Prozesse einzieht. Ein Modell kann im Durchschnitt sehr treffsicher sein und im Einzelfall dennoch aus falschen Gründen richtig liegen oder aus systematischen Gründen bestimmte Gruppen benachteiligen. Ohne Erklärbarkeit bleiben solche Muster unentdeckt, bis sie Schaden anrichten.
Hinzu kommt der regulatorische Druck: Mit dem EU AI Act und den etablierten Anforderungen der DSGVO rückt Nachvollziehbarkeit von einer freiwilligen Kür zu einer erwarteten Grundhaltung. Auch Kund:innen, Betriebsräte und Geschäftspartner fragen zunehmend, wie KI-gestützte Entscheidungen zustande kommen. Erklärbarkeit ist damit weniger eine Modeerscheinung als ein dauerhafter Bestandteil verantwortungsvoller KI – und ein wichtiger Baustein dessen, was man als vertrauenswürdige KI bezeichnet.
Am wichtigsten ist die Unterscheidung zwischen Interpretierbarkeit und Erklärbarkeit. Interpretierbarkeit beschreibt, in welchem Maße ein Modell aus sich heraus verständlich ist – also ob ein Mensch die Wirkweise des Modells direkt nachvollziehen kann, ohne zusätzliche Hilfsmittel. Ein einfaches Regelwerk oder eine kurze Entscheidungslogik ist in diesem Sinne interpretierbar: Man kann den Weg von der Eingabe zur Ausgabe unmittelbar ablesen. Erklärbarkeit dagegen bezeichnet die Fähigkeit, das Verhalten eines Modells nachträglich verständlich zu machen – oft mit Hilfe zusätzlicher Verfahren, die dem eigentlichen Modell aufgesetzt werden. Erklärbarkeit ist damit der weitere Begriff; sie ist auch dort möglich, wo das Modell selbst nicht interpretierbar ist.
Ebenso zentral ist die Gegenüberstellung von White-Box– und Black-Box-Modellen. White-Box-Modelle sind von ihrer Struktur her transparent: Ihre innere Logik ist einsehbar und im Prinzip nachvollziehbar. Black-Box-Modelle hingegen sind so komplex, dass ihr innerer Zusammenhang für Menschen nicht mehr direkt durchschaubar ist – nicht weil er verborgen würde, sondern weil er zu vielschichtig ist. Der Begriff Black-Box meint also nicht Geheimhaltung, sondern schlichte kognitive Unzugänglichkeit.
In der Praxis besteht häufig – wenn auch nicht zwingend – ein Zielkonflikt: Sehr einfache, interpretierbare Modelle sind leicht zu verstehen, erreichen aber bei komplexen Aufgaben mitunter nicht die Trefferquote leistungsfähigerer, aber intransparenter Verfahren. Umgekehrt liefern komplexe Modelle oft bessere Ergebnisse, sind aber schwerer zu durchschauen. Dieses Spannungsfeld ist der eigentliche Grund für die Existenz von XAI: Wo man aus fachlichen Gründen ein leistungsstarkes, aber intransparentes Modell einsetzen möchte, verschafft Erklärbarkeit die nötige Nachvollziehbarkeit nachträglich.
Wichtig ist jedoch, dieses Spannungsfeld nicht zu dogmatisieren. In vielen mittelständischen Anwendungsfällen sind einfachere, von Natur aus interpretierbare Modelle „gut genug“ – und ihr Transparenzvorteil wiegt einen geringen Leistungsunterschied bei Weitem auf. Aus unserer Beratungspraxis lautet die Faustregel: Je folgenreicher und sensibler die Entscheidung, desto stärker sollte Interpretierbarkeit von vornherein mitgedacht werden, statt sie erst hinterher über aufwendige Erklärungsverfahren herzustellen.
Eng damit verbunden ist die Unterscheidung zwischen intrinsischer und nachträglicher Erklärbarkeit. Intrinsische Erklärbarkeit bedeutet, dass die Transparenz bereits in der Modellwahl angelegt ist – man entscheidet sich bewusst für ein Modell, dessen Logik nachvollziehbar bleibt. Post-hoc-Erklärbarkeit hingegen setzt nach dem Training an: Ein bereits fertiges, komplexes Modell wird mit zusätzlichen Verfahren untersucht, um sein Verhalten zu erklären. Beide Wege haben ihre Berechtigung – der erste minimiert das Risiko, dass eine Erklärung das Modell nur näherungsweise beschreibt; der zweite erlaubt es, leistungsstarke Modelle dennoch prüfbar zu machen.
Für die Praxis ist entscheidend, diese Wahl bewusst zu treffen, statt sie dem Zufall zu überlassen. Wer bereits bei der Konzeption eines KI-Vorhabens klärt, welches Maß und welche Art von Erklärbarkeit der Anwendungsfall verlangt, kann die Modellwahl daran ausrichten – und erspart sich spätere Nachbesserungen, wenn ein an sich fertiges System sich als nicht ausreichend nachvollziehbar erweist.
Die wichtigste Unterscheidung verläuft zwischen globaler und lokaler Erklärbarkeit. Globale Verfahren beantworten die Frage: Wie verhält sich das Modell insgesamt? Welche Merkmale sind über alle Entscheidungen hinweg besonders einflussreich, in welche Richtung wirken sie, wo liegen systematische Muster? Lokale Verfahren dagegen beantworten die Frage: Warum hat das Modell in diesem einen konkreten Fall so entschieden? Sie erklären eine einzelne Vorhersage – etwa die Ablehnung eines bestimmten Antrags. Beide Perspektiven ergänzen sich: Global erkennt man strukturelle Verzerrungen und plausibilisiert das Gesamtverhalten; lokal begründet man die Entscheidung im Einzelfall, was gerade gegenüber betroffenen Personen wichtig ist.
Globale Verfahren dienen dazu, ein Modell als Ganzes zu plausibilisieren. Die Feature Importance etwa liefert eine Rangfolge der Merkmale nach ihrem Einfluss – und gibt so einen ersten Eindruck, worauf ein Modell im Kern reagiert. Ergänzend zeigen Verfahren, die den Effekt eines Merkmals über seinen Wertebereich darstellen, ob ein Zusammenhang etwa gleichmäßig steigt, abrupt umschlägt oder gar nicht wirkt. Der praktische Nutzen liegt in der Qualitätssicherung: Reagiert ein Modell auf Merkmale, die sachlich gar nicht relevant sein dürften – oder gar auf sensible Merkmale wie Geschlecht oder Herkunft –, deckt die globale Analyse dies auf, bevor Schaden entsteht. Damit ist globale Erklärbarkeit ein wichtiges Werkzeug im Zusammenhang mit Bias- und Fairness-Prüfungen.
Eine wichtige Einschränkung: Globale Erklärungen sind Vereinfachungen. Sie beschreiben Tendenzen über viele Fälle hinweg, nicht die Logik eines einzelnen Ergebnisses. Ein Merkmal kann global sehr wichtig sein und in einem konkreten Fall dennoch keine Rolle spielen – und umgekehrt. Deshalb ersetzt die globale Perspektive nie die lokale, wenn es um die Begründung einer einzelnen Entscheidung geht.
Für die Begründung im Einzelfall haben sich vor allem zwei Ansätze etabliert. LIME nähert das komplexe Modell in der unmittelbaren Umgebung einer konkreten Vorhersage durch ein einfaches, verständliches Ersatzmodell an und liest daraus ab, welche Merkmale diese eine Entscheidung getrieben haben. Der Ansatz ist intuitiv, kann aber empfindlich darauf reagieren, wie die Umgebung gebildet wird – zwei Durchläufe liefern nicht immer identische Erklärungen. SHAP verfolgt ein anderes Prinzip: Es verteilt den Beitrag zu einer Vorhersage nach einer aus der Spieltheorie abgeleiteten Fairness-Idee auf die einzelnen Merkmale. Das Ergebnis ist in sich konsistent und lässt sich zudem über viele Fälle hinweg zu globalen Aussagen zusammenfassen – ein Grund für die große Verbreitung. Der Preis dafür ist ein teils erheblicher Rechenaufwand.
Eine besonders anschauliche Form lokaler Erklärung sind kontrafaktische Erklärungen. Sie beantworten die Frage, was anders hätte sein müssen, damit die Entscheidung anders ausgefallen wäre – etwa: „Bei einem um einen bestimmten Betrag höheren Einkommen wäre der Antrag positiv beschieden worden.“ Für betroffene Personen ist das oft die verständlichste und nützlichste Form der Erklärung, weil sie einen konkreten Handlungsbezug herstellt. Zugleich sind kontrafaktische Erklärungen mehrdeutig – es gibt meist mehrere mögliche „Gegen-Szenarien“ –, weshalb ihre Auswahl mit Bedacht erfolgen sollte.
Quer zu global und lokal verläuft eine weitere Unterscheidung. Modellagnostische Verfahren – wie LIME und in weiten Teilen SHAP – funktionieren im Prinzip mit beliebigen Modellen, weil sie das Modell nur von außen betrachten, also über seine Eingaben und Ausgaben. Das macht sie flexibel und universell einsetzbar. Modellspezifische Verfahren nutzen dagegen die innere Struktur eines bestimmten Modelltyps und können dadurch präziser und effizienter sein – etwa Verfahren, die bei bildverarbeitenden Netzen sichtbar machen, welche Bildregionen eine Entscheidung beeinflusst haben. Die Wahl zwischen beiden hängt vom Modelltyp, vom Anwendungsfall und vom verfügbaren Aufwand ab; in der Praxis kombiniert man häufig mehrere Verfahren, um ein robustes Bild zu erhalten.
Klassische XAI-Verfahren wurden weitgehend für Modelle entwickelt, die aus einer überschaubaren Zahl klar definierter Merkmale eine Vorhersage ableiten. Große Sprachmodelle funktionieren anders: Sie verarbeiten Sprache, verfügen über eine enorme Zahl innerer Parameter und erzeugen offene, generative Ausgaben statt einer einzelnen Klassifizierung. Die Frage „Welches Eingangsmerkmal war wie wichtig?“ lässt sich hier nicht mehr so sauber stellen. Die Erklärbarkeit dieser Modelle ist deshalb ein aktives, noch keineswegs abgeschlossenes Forschungsfeld – belastbare, allgemeingültige Verfahren, die eine LLM-Ausgabe vollständig erklären, existieren nach aktuellem Stand nicht.
Ein besonders folgenreicher Punkt betrifft die verbreitete Vorstellung, ein Sprachmodell könne seine eigene Antwort „erklären“. Wenn ein Modell auf Nachfrage eine Begründung liefert, erzeugt es diese Begründung als weiteren generierten Text – nicht als authentische Offenlegung seiner tatsächlichen internen Verarbeitung. Solche selbst erzeugten Begründungen können plausibel klingen und dennoch nicht der wahre Grund für die Ausgabe sein. Diese Unterscheidung ist für die Praxis zentral: Eine vom Modell mitgelieferte „Erklärung“ ist keine verlässliche Rechenschaft über sein Zustandekommen, sondern selbst wieder eine Modellausgabe, die dem gleichen Vorbehalt unterliegt wie jede andere.
Trotz dieser Grenzen gibt es praktikable Wege, den Einsatz generativer KI nachvollziehbarer zu machen. Sie setzen weniger am inneren Mechanismus des Modells an als an seinem Kontext und seiner Nutzung. Dazu gehören insbesondere:
Für den verantwortungsvollen Einsatz ist es wichtig, die Grenzen nicht zu beschönigen. Wer generative KI in einem Bereich einsetzt, in dem Entscheidungen begründet werden müssen, sollte nicht darauf bauen, dass sich jede einzelne Ausgabe im Nachhinein sauber erklären lässt. Stattdessen verlagert sich die Verantwortung: auf eine sorgfältige Gestaltung des Anwendungsfalls, auf Kontexttransparenz, auf systematische Qualitätssicherung und auf klar geregelte menschliche Aufsicht. Wo diese Voraussetzungen fehlen, ist generative KI für hochsensible, begründungspflichtige Entscheidungen nach aktuellem Stand nur mit erheblicher Vorsicht geeignet.
Der häufigste Fehler beim Thema Erklärbarkeit ist die Annahme, es gebe die eine richtige Erklärung. Tatsächlich hängt eine gute Erklärung davon ab, wer sie erhält, was diese Person damit tun will und über welches Vorwissen sie verfügt. Ein Erklärungswert, der eine Data-Science-Fachkraft überzeugt, ist für eine betroffene Person oft unverständlich – und eine Erklärung, die einer betroffenen Person hilft, genügt vielleicht nicht den Anforderungen einer Aufsicht. XAI ist deshalb immer auch eine Kommunikationsaufgabe: die technisch gewonnene Erklärung in eine für die jeweilige Zielgruppe brauchbare Form zu übersetzen.
Für die Menschen, die ein Modell entwickeln, betreiben und fachlich verantworten, ist Erklärbarkeit vor allem ein Diagnosewerkzeug. Sie wollen wissen, ob das Modell aus den richtigen Gründen richtig liegt, ob es auf sachfremde Merkmale reagiert und ob sich systematische Verzerrungen zeigen. Hier sind detaillierte, technische Erklärungen angemessen – globale Merkmalsanalysen zur Qualitätssicherung, lokale Erklärungen zur Untersuchung auffälliger Einzelfälle. Diese Erklärungen müssen nicht laienverständlich sein; sie müssen präzise sein und dazu beitragen, das Modell zu verbessern und Risiken früh zu erkennen.
Ganz anders liegt der Fall bei Menschen, die von einer KI-gestützten Entscheidung betroffen sind – etwa Bewerber:innen oder Antragsteller:innen. Sie brauchen keine technische Tiefe, sondern eine verständliche, faire und möglichst handlungsbezogene Erklärung: Was waren die wesentlichen Gründe, und was ließe sich gegebenenfalls ändern? Hier sind Fachbegriffe und Zahlenkolonnen fehl am Platz. Kontrafaktische Erklärungen erweisen sich in dieser Rolle oft als am nützlichsten, weil sie einen konkreten Bezug herstellen. Wichtig ist zugleich die Ehrlichkeit: Eine Erklärung für Betroffene darf nicht mehr Bestimmtheit vortäuschen, als tatsächlich vorhanden ist.
Für Aufsichtsfunktionen – intern wie extern – steht wiederum ein anderer Aspekt im Vordergrund: die dokumentierte Nachweisbarkeit. Hier geht es weniger um einzelne Erklärungswerte als um die Frage, ob ein Unternehmen belegen kann, wie ein System funktioniert, wie es geprüft wurde, welche Sicherungen bestehen und wer verantwortlich ist. Erklärbarkeit wird damit Teil einer umfassenderen Dokumentation, wie sie etwa in Model Cards festgehalten wird. Die entscheidende Kompetenz ist hier, technische Erklärungen so aufzubereiten und zu dokumentieren, dass sie einer prüfenden Instanz standhalten.
Vorweg eine wichtige Klarstellung: Weder der EU AI Act noch die DSGVO schreiben ein bestimmtes XAI-Verfahren vor. Es gibt keine gesetzliche Pflicht, „SHAP zu verwenden“. Was die Rahmenwerke verlangen, sind Ergebnisse – Transparenz, Nachvollziehbarkeit, die Möglichkeit menschlicher Aufsicht und, im datenschutzrechtlichen Kontext, aussagekräftige Informationen über die Logik automatisierter Entscheidungen. XAI ist ein Mittel, um diese Anforderungen zu erfüllen, aber die konkrete Wahl der Mittel bleibt eine fachliche Entscheidung. Wie genau die Anforderungen im Einzelfall auszulegen sind, ist eine Rechtsfrage, die mit einer Fachjurist:in zu klären ist.
Der EU AI Act – die Verordnung (EU) 2024/1689 – verfolgt einen risikobasierten Ansatz und stellt gerade an Hochrisiko-Systeme erhöhte Anforderungen, die eng mit Erklärbarkeit verknüpft sind. Nach aktuellem Stand gehören dazu unter anderem eine hinreichende Transparenz gegenüber den Betreibern, damit diese die Ausgaben des Systems angemessen interpretieren und nutzen können, sowie Vorkehrungen für eine wirksame menschliche Aufsicht. Menschliche Aufsicht setzt praktisch voraus, dass die aufsichtführende Person die Funktionsweise und die Ergebnisse des Systems in ausreichendem Maße versteht – und genau hierfür ist Erklärbarkeit ein zentrales Instrument. Auch die geforderte technische Dokumentation und die Protokollierung tragen zur Nachvollziehbarkeit bei.
Hinzu kommen übergreifende Transparenzpflichten, die unabhängig von der Risikoklasse gelten – etwa dass Menschen darüber informiert werden, wenn sie mit einem KI-System interagieren, und dass KI-generierte oder -manipulierte Inhalte erkennbar gekennzeichnet werden. Diese Pflichten zielen weniger auf die innere Erklärbarkeit eines Modells als auf Transparenz über den Einsatz von KI überhaupt – sind aber Teil desselben Grundgedankens: dass KI nicht unbemerkt und unnachvollziehbar wirken soll. Eine vertiefte Darstellung des Rahmens bietet unser Beitrag zum EU AI Act.
Die Datenschutz-Grundverordnung enthält bereits seit ihrem Inkrafttreten Regelungen, die für erklärbare KI unmittelbar bedeutsam sind, sobald personenbezogene Daten verarbeitet werden. Besonders relevant ist Artikel 22 DSGVO, der ausschließlich auf einer automatisierten Verarbeitung beruhende Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung grundsätzlich einschränkt und an besondere Bedingungen knüpft. In diesem Zusammenhang sehen die Informations- und Auskunftsrechte der DSGVO nach aktuellem Stand vor, dass betroffene Personen aussagekräftige Informationen über die involvierte Logik sowie über Tragweite und angestrebte Auswirkungen einer solchen automatisierten Entscheidung erhalten. Auch das Recht, eine menschliche Überprüfung zu verlangen und den eigenen Standpunkt darzulegen, spielt hier hinein.
Für die Praxis bedeutet das: Wo KI-gestützte, folgenreiche Entscheidungen über Personen getroffen werden, muss ein Unternehmen in der Lage sein, die wesentliche Logik verständlich darzulegen – nicht den vollständigen Algorithmus offenzulegen, aber die tragenden Gründe nachvollziehbar zu machen. Erklärbarkeitsverfahren, insbesondere lokale und kontrafaktische Erklärungen, sind ein naheliegendes Mittel, um solche Auskünfte inhaltlich zu füllen. Wie weit die Pflicht im Einzelfall reicht, ist juristisch umstritten und einzelfallabhängig; die konkrete Ausgestaltung sollte mit einer Fachjurist:in und der Datenschutzfunktion abgestimmt werden.
Für XAI steht heute eine breite Werkzeuglandschaft bereit – von etablierten Open-Source-Bibliotheken, die Verfahren wie SHAP und LIME umsetzen, über spezialisierte Erklärbarkeits- und Fairness-Toolkits bis hin zu Funktionen, die in größere Plattformen für maschinelles Lernen eingebettet sind. Herstellerneutral betrachtet lassen sich diese Werkzeuge in einige Kategorien einordnen, die je nach Modelltyp, Datenlage und organisatorischer Reife kombiniert werden. Entscheidend ist weniger die Wahl eines bestimmten Produkts als die Frage, ob Erklärbarkeit systematisch in den Entwicklungs- und Betriebsprozess integriert ist.
Der wirkungsvollste Ansatz ist, Erklärbarkeit nicht als nachträgliche Prüfung, sondern als durchgehendes Prinzip zu behandeln. Bereits in der Konzeptionsphase wird festgelegt, welches Maß und welche Art von Erklärbarkeit der Anwendungsfall verlangt und welche Adressaten bedient werden müssen – das beeinflusst die Modellwahl. In der Datenaufbereitung entscheidet sich viel: Gut verstandene, dokumentierte Merkmale sind die Grundlage jeder sinnvollen Erklärung. Beim Training und der Validierung werden Erklärbarkeitsverfahren zur Qualitätssicherung eingesetzt, um unplausible Muster und Verzerrungen früh zu erkennen. Vor dem Produktivgang wird dokumentiert, wie das Modell funktioniert und geprüft wurde. Und im Betrieb sorgen Monitoring und wiederkehrende Erklärbarkeitsanalysen dafür, dass Veränderungen im Verhalten – etwa durch verschobene Daten – nicht unbemerkt bleiben.
Ein oft unterschätzter Baustein ist die strukturierte Dokumentation. Formate wie Model Cards halten in kompakter Form fest, wofür ein Modell gedacht ist, mit welchen Daten es entwickelt wurde, wo seine Grenzen liegen und wie es sich in Prüfungen verhalten hat. Solche Dokumente sind das Bindeglied zwischen den technischen Erklärungen und den organisatorischen Adressaten – sie machen Erklärbarkeit dauerhaft, auffindbar und prüfbar. Ohne diese Verankerung bleiben Erklärungen flüchtige Momentaufnahmen einzelner Analysen; mit ihr werden sie zu einem belastbaren Bestandteil der Governance.
Für den Mittelstand ist wichtig: Diese Dokumentation muss nicht umfangreich sein, um wertvoll zu sein. Eine knappe, aber ehrliche Beschreibung von Zweck, Datengrundlage, Grenzen und durchgeführten Prüfungen erfüllt bereits einen Großteil des Zwecks – und ist im Zweifel deutlich mehr wert als ein aufwendiges Dokument, das niemand pflegt. Entscheidend ist, dass die Dokumentation gelebt und aktuell gehalten wird.
Der wichtigste Grundsatz lautet: Nicht jede KI braucht denselben Grad an Erklärbarkeit. Ein internes Empfehlungssystem für Textbausteine verlangt eine andere Behandlung als ein System, das über Kreditwürdigkeit oder die Vorauswahl von Bewerbungen mitentscheidet. Der Aufwand sollte sich am Risiko orientieren – an der Frage, wie folgenreich eine Entscheidung für Menschen ist und welche regulatorischen Erwartungen bestehen. Dieses risikobasierte Denken verhindert zwei typische Fehler: unkritische Systeme mit unnötiger Bürokratie zu belasten und sensible Systeme mit oberflächlicher Transparenz durchzuwinken.
Die meisten mittelständischen Unternehmen entwickeln keine eigenen KI-Modelle, sondern setzen fertige Systeme ein. Das verändert die Erklärbarkeitsaufgabe: Statt selbst Verfahren zu implementieren, geht es darum, von Anbietern die richtigen Informationen und Funktionen einzufordern. Fragen an einen Anbieter sollten daher lauten: Welche Erklärungs- und Transparenzfunktionen bietet das System? Wie lassen sich einzelne Entscheidungen begründen? Welche Dokumentation liegt vor, und welche Sicherungen für menschliche Aufsicht sind vorgesehen? Diese Punkte gehören in die Beschaffung und idealerweise in die Verträge – Themen, die eng mit der Auswahl und Steuerung von KI-Anbietern zusammenhängen.
Erklärbarkeit scheitert selten an der Technik und häufig an der Organisation. Damit Erklärungen tatsächlich genutzt werden, brauchen die beteiligten Personen ein angemessenes Grundverständnis: Sie müssen wissen, was eine Erklärung aussagt und was nicht, und sie müssen befähigt sein, Ergebnisse kritisch zu hinterfragen. Der Aufbau dieser KI-Kompetenz – rollenbasiert, angemessen zur Aufgabe – ist damit ein integraler Bestandteil jeder Erklärbarkeitsstrategie. Eine Kultur, in der Nachfragen erwünscht ist und in der eine unverstandene KI-Entscheidung nicht einfach übernommen wird, ist mindestens so wertvoll wie das ausgefeilteste Verfahren.
Der Nutzen von Erklärbarkeit ist vielschichtig. Sie schafft Vertrauen, weil Menschen einem System eher folgen, dessen Logik sie nachvollziehen können. Sie verbessert die Qualität, weil sie Fehler und unplausible Muster im Modell aufdeckt. Sie unterstützt Fairness, indem sie sichtbar macht, ob ein Modell auf sachfremde oder sensible Merkmale reagiert. Sie erleichtert die Compliance, weil sie Transparenz- und Auskunftserwartungen inhaltlich füllt. Und sie stützt die menschliche Aufsicht, weil sie den aufsichtführenden Personen überhaupt erst die Grundlage gibt, Ergebnisse sinnvoll zu prüfen. Zugleich hat Erklärbarkeit klare Grenzen, die man ehrlich benennen muss.
Der größte Fallstrick von XAI ist paradox: Eine überzeugend aussehende Erklärung kann mehr Sicherheit vortäuschen, als tatsächlich vorhanden ist. Weil Erklärungen selbst Näherungen sind, besteht die Gefahr, dass ein hübsches Diagramm oder eine plausible Begründung kritisches Nachdenken beendet, statt es anzuregen. Besonders tückisch ist dies, wenn eine Erklärung zwar plausibel klingt, aber gar nicht der tatsächliche Grund für das Modellverhalten ist. Der verantwortungsvolle Umgang besteht darin, Erklärungen als Indizien zu behandeln, sie mit Fachwissen zu plausibilisieren und mehrere Blickwinkel zu kombinieren, statt einer einzelnen Erklärung blind zu vertrauen.
Ein weiterer verbreiteter Stolperstein ist die Erwartung, verschiedene Verfahren müssten zum selben Ergebnis kommen. Das ist nicht der Fall: LIME und SHAP etwa beruhen auf unterschiedlichen Annahmen und können für denselben Fall unterschiedliche Merkmale hervorheben. Das ist kein Fehler, sondern eine Eigenschaft – jede Methode beleuchtet das Modell aus einem anderen Winkel. Der richtige Umgang besteht nicht darin, das „eine wahre“ Verfahren zu suchen, sondern die Verfahren als komplementär zu verstehen und aus dem Gesamtbild zu lernen. Wo Erklärungen stark auseinanderlaufen, ist das oft selbst ein wertvolles Signal – ein Hinweis, genauer hinzusehen.
Schließlich ersetzt Erklärbarkeit weder ein solides Modell noch gute Daten noch menschliche Verantwortung. Ein schlechtes Modell wird durch eine Erklärung nicht besser, es wird nur besser durchschaubar schlecht. Erklärbarkeit ist ein Werkzeug zur Prüfung, Verbesserung und Rechenschaft – nicht die Lösung selbst. Wer sie so einordnet, nutzt ihren Wert und vermeidet die Enttäuschung, die entsteht, wenn man von XAI mehr erwartet, als sie leisten kann. In Kombination mit soliden Grundlagen, klarer Governance und menschlicher Aufsicht entfaltet Erklärbarkeit ihren vollen Nutzen.
