Wissensdatenbank · KI-Strategie, Ethik & Compliance

Trustworthy AI – vertrauenswürdige KI als Fundament verantwortungsvoller Digitalisierung.

Vertrauenswürdige KI ist mehr als ein Schlagwort: Sie beschreibt einen Anspruch, dem KI-Systeme genügen sollten, um rechtmäßig, ethisch und technisch robust zu sein. Dieser Fachartikel erklärt das Konzept, die sieben Anforderungen der EU-HLEG-Leitlinien, ihre technische Umsetzung sowie die Verbindung zu EU AI Act, ISO/IEC 42001 und NIST AI RMF – und zeigt, wie der Mittelstand mit der ALTAI-Assessment-Liste konkret startet. Sachlich, herstellerneutral und ausdrücklich keine Rechtsberatung.

23 Min. Lesezeit
Aktualisiert · Juli 2026
Fachartikel · Expertenbeitrag
Trustworthy AI
Vertrauenswürdige KI · EU-HLEG-Leitlinien
Typ
Ethik- & Governance-Rahmen
Grundlage
EU-HLEG-Leitlinien (2019)
Kern
Sieben Anforderungen
Bezug
AI Act, ISO 42001, NIST
Assessment
ALTAI-Checkliste
Hinweis
Keine Rechtsberatung
Relevanz für KI-nutzende Unternehmen
Kapitel 01 · Grundlagen

Was ist vertrauenswürdige KI?

Vertrauenswürdige KI – im Englischen Trustworthy AI – bezeichnet einen KI-Anspruch, der weit über reine Funktionsfähigkeit hinausreicht. Ein KI-System gilt dann als vertrauenswürdig, wenn Menschen ihm zu Recht vertrauen können: weil es geltendes Recht achtet, ethischen Grundwerten entspricht und technisch zuverlässig arbeitet. Der Begriff ist kein einzelnes Werkzeug, sondern ein Leitbild, das seit den EU-HLEG-Leitlinien von 2019 die europäische KI-Debatte prägt und heute die Grundlage von Regulierung, Normen und Managementsystemen bildet.

Der Kern des Konzepts lässt sich auf einen einfachen Gedanken bringen: Ein KI-System kann technisch brillant und dennoch nicht vertrauenswürdig sein – etwa weil es Menschen diskriminiert, undurchschaubar entscheidet oder sich in unerwarteten Situationen unsicher verhält. Umgekehrt entsteht Vertrauen nicht allein durch Genauigkeit, sondern durch die Kombination mehrerer Eigenschaften. Die von der High-Level Expert Group on Artificial Intelligence (HLEG) der Europäischen Kommission veröffentlichten „Ethik-Leitlinien für eine vertrauenswürdige KI“ benennen dafür drei tragende Komponenten, die über den gesamten Lebenszyklus eines Systems zusammenwirken müssen.
Diese drei Komponenten sind: Erstens soll KI rechtmäßig (lawful) sein, also geltendes Recht und geltende Vorschriften einhalten. Zweitens soll sie ethisch (ethical) sein, das heißt ethische Grundsätze und Werte achten. Und drittens soll sie robust (robust) sein – sowohl in technischer als auch in gesellschaftlicher Hinsicht, weil selbst gut gemeinte Systeme unbeabsichtigten Schaden anrichten können. Erst wenn alle drei Dimensionen erfüllt sind, spricht das Konzept von vertrauenswürdiger KI. Aus diesen drei Komponenten leitet die HLEG die sieben konkreten Anforderungen ab, die in Kapitel 02 im Mittelpunkt stehen.
INAGRO-Einschätzung

Vertrauenswürdige KI wird im Mittelstand oft als „Nice-to-have“ missverstanden – als etwas, das man sich nach der eigentlichen Einführung noch dazu leisten kann. Aus unserer Beratungspraxis ist das Gegenteil richtig: Wer Vertrauenswürdigkeit von Anfang an mitdenkt, spart später teure Nachbesserungen und schafft die Grundlage, um regulatorische Anforderungen wie den EU AI Act mühelos zu erfüllen. Vertrauenswürdigkeit ist kein Aufsatz, sondern ein Fundament. Dies ist keine Rechtsberatung; die konkrete rechtliche Einordnung im Einzelfall ist mit einer Fachjurist:in zu klären.

Warum Vertrauen zur Kernwährung von KI wird

KI-Systeme treffen oder beeinflussen zunehmend Entscheidungen, die Menschen unmittelbar betreffen – von der Vorauswahl im Recruiting über Bonitätsbewertungen bis zur Priorisierung im Kundenservice. Je größer die Tragweite, desto wichtiger wird die Frage, ob man den Ergebnissen trauen kann. Fehlt dieses Vertrauen, bleibt selbst die leistungsfähigste KI in der Schublade, weil Mitarbeitende sie nicht nutzen, Kund:innen sie ablehnen oder Aufsichtsbehörden sie beanstanden. Vertrauen ist damit keine weiche Zusatzeigenschaft, sondern eine harte Voraussetzung für die tatsächliche Wertschöpfung mit KI.
Hinzu kommt eine wirtschaftliche Dimension: Vertrauen senkt Transaktionskosten. Ein KI-System, dessen Funktionsweise nachvollziehbar ist, dessen Grenzen bekannt sind und dessen Verhalten sich vorhersagen lässt, muss nicht bei jeder Entscheidung neu hinterfragt werden. Es lässt sich in Prozesse integrieren, an Partner weitergeben und gegenüber Prüfstellen belegen. Vertrauenswürdige KI ist deshalb nicht nur ethisch geboten, sondern auch betriebswirtschaftlich sinnvoll – sie macht KI überhaupt erst betriebstauglich und skalierbar.

Trustworthy AI ist ein Prozess, kein Zustand

Ein häufiges Missverständnis lautet, Vertrauenswürdigkeit sei ein Häkchen, das man einmal setzt. Tatsächlich ist sie das Ergebnis eines fortlaufenden Prozesses über den gesamten Lebenszyklus – von der Idee über Datenauswahl, Entwicklung und Test bis zum Betrieb, zur Überwachung und schließlich zur Außerbetriebnahme. Ein System, das heute vertrauenswürdig arbeitet, kann es morgen nicht mehr sein, weil sich Daten, Nutzung oder Umfeld verändert haben. Die HLEG betont deshalb ausdrücklich, dass die Anforderungen kontinuierlich zu bewerten und anzupassen sind.
Für Unternehmen folgt daraus eine wichtige Konsequenz: Vertrauenswürdige KI lässt sich nicht einkaufen, sondern muss organisatorisch verankert werden. Sie braucht Rollen, Prozesse und eine Kultur, in der kritische Fragen erlaubt und Fehlfunktionen meldbar sind. Genau hier setzt der Bogen zu KI-Governance, zu Managementsystemen wie ISO/IEC 42001 und zu Rahmenwerken wie dem NIST AI Risk Management Framework an, die in Kapitel 07 näher betrachtet werden.
Kapitel 02 · Die sieben Anforderungen

Die sieben Anforderungen der EU-HLEG-Leitlinien

Aus den drei Komponenten rechtmäßig, ethisch und robust leitet die HLEG sieben konkrete Anforderungen ab, die ein vertrauenswürdiges KI-System erfüllen sollte. Sie bilden das inhaltliche Herzstück des Konzepts und strukturieren zugleich die spätere Bewertung. Die folgende Übersicht ist eine sachliche Orientierung, keine abschließende rechtliche Bewertung.

Menschliche Aufsicht
Kontrolle

KI soll die menschliche Autonomie stärken, nicht untergraben. Menschen müssen KI-Entscheidungen verstehen, überwachen und bei Bedarf eingreifen oder überstimmen können.

FokusHandlungsfähigkeit
KernmittelHuman Oversight
Relevanz KMUSehr hoch
Technische Robustheit
Sicherheit

Systeme sollen zuverlässig, sicher und widerstandsfähig sein – auch gegen Angriffe, Fehleingaben und unerwartete Situationen. Genauigkeit und Rückfallebenen gehören dazu.

FokusZuverlässigkeit
KernmittelSicherheit & Genauigkeit
Relevanz KMUHoch
Datenschutz & Governance
Daten

Schutz von Privatsphäre und Daten über den gesamten Lebenszyklus – mit Qualität, Integrität und geregeltem Zugang zu den verwendeten Daten.

FokusPrivatsphäre
KernmittelDaten-Governance
Relevanz KMUSehr hoch
Transparenz
Nachvollzieh.

Daten, System und Geschäftsmodell sollen nachvollziehbar sein. Dazu gehören Rückverfolgbarkeit, Erklärbarkeit von Entscheidungen und offene Kommunikation gegenüber Nutzenden.

FokusErklärbarkeit
KernmittelTraceability, XAI
Relevanz KMUHoch
Vielfalt & Fairness
Fairness

Vermeidung unfairer Verzerrungen, Barrierefreiheit und Einbeziehung betroffener Gruppen. KI soll niemanden ungerechtfertigt benachteiligen oder ausschließen.

FokusNicht-Diskriminierung
KernmittelBias-Prüfung
Relevanz KMUHoch
Gesellschaft & Umwelt
Wohl

Blick auf das gesellschaftliche und ökologische Wohl: Nachhaltigkeit, soziale Wirkung und die Auswirkungen auf Demokratie und Gemeinschaft.

FokusGemeinwohl
KernmittelWirkungsanalyse
Relevanz KMUMittel
Rechenschaft
Verantwortung

Verantwortlichkeit und Nachvollziehbarkeit sicherstellen – durch Prüfbarkeit, Umgang mit negativen Auswirkungen, Abwägungen und zugängliche Beschwerdewege.

FokusAccountability
KernmittelAuditierbarkeit
Relevanz KMUHoch

Warum die sieben Anforderungen zusammengehören

Die sieben Anforderungen sind bewusst nicht als Rangfolge gedacht, sondern als ineinandergreifendes System. Transparenz ohne menschliche Aufsicht bleibt folgenlos; Fairness ohne belastbare Daten-Governance lässt sich nicht überprüfen; Robustheit ohne Rechenschaft schafft keine Verantwortlichkeit. Erst im Zusammenspiel entsteht ein vertrauenswürdiges System. Deshalb betont die HLEG, dass die Anforderungen je nach Anwendungsfall unterschiedlich stark gewichtet werden können, aber keine von ihnen grundsätzlich entbehrlich ist.
Für die Praxis ist wichtig, dass diese Anforderungen technischer und nicht-technischer Natur sind. Manche lassen sich mit Werkzeugen adressieren – etwa Erklärbarkeitsmethoden oder Tests gegen Angriffe. Andere erfordern Prozesse, Rollen und Kultur – etwa Beschwerdewege, Verantwortlichkeiten und die Einbindung betroffener Gruppen. Vertrauenswürdige KI ist damit immer eine Aufgabe an der Schnittstelle von Technik, Organisation und Recht und lässt sich nicht allein durch bessere Modelle lösen.

Von Prinzipien zu Anforderungen: die Herleitung

Die HLEG stützt die sieben Anforderungen auf vier ethische Grundprinzipien, die aus den Grundrechten abgeleitet sind: die Achtung der menschlichen Autonomie, die Schadensverhütung, die Fairness und die Erklärbarkeit. Aus diesen Prinzipien werden die konkreten Anforderungen entwickelt, damit sie nicht abstrakt bleiben, sondern operationalisierbar werden. Diese Verbindung von Grundwerten und praktischen Anforderungen ist der eigentliche methodische Beitrag der Leitlinien – und der Grund, warum sie bis heute als Referenz gelten, obwohl sie selbst nicht rechtsverbindlich sind.
Einordnung

Die HLEG-Leitlinien sind ein ethisches Rahmenwerk und selbst kein Gesetz. Ihre Bedeutung liegt darin, dass sie die europäische Regulierung – insbesondere den EU AI Act – inhaltlich vorgeprägt haben. Wer die sieben Anforderungen ernst nimmt, arbeitet bereits in die Richtung, die spätere gesetzliche Pflichten vorgeben. Ob und wie einzelne Anforderungen im konkreten Fall rechtlich verpflichtend sind, ist jedoch mit einer Fachjurist:in zu klären. Dies ist keine Rechtsberatung.

Kapitel 03 · Technische Robustheit & Sicherheit

Technische Robustheit und Sicherheit

Die technische Robustheit ist die Anforderung, die dem klassischen Ingenieursverständnis am nächsten steht – und zugleich diejenige, die bei KI besondere Tücken bereithält. Denn lernende Systeme verhalten sich nicht immer vorhersehbar, und ihre Zuverlässigkeit hängt stark von Daten und Kontext ab. Die folgenden Ausführungen sind sachlich und ersetzen keine sicherheitstechnische Einzelfallprüfung.

Robustheit meint, dass ein KI-System auch unter widrigen Bedingungen verlässlich funktioniert. Dazu gehört, dass es korrekte und reproduzierbare Ergebnisse liefert, mit Fehleingaben und Störungen umgehen kann und nicht durch gezielte Manipulation zu falschem Verhalten verleitet wird. Anders als bei klassischer, regelbasierter Software entsteht das Verhalten eines KI-Systems aus Daten – und damit auch die Gefahr, dass es in Situationen, die im Training nicht vorkamen, unerwartet oder unsicher reagiert. Robustheit ist deshalb kein einmaliger Nachweis, sondern eine Eigenschaft, die kontinuierlich überwacht werden muss.

Die vier Bausteine technischer Robustheit

Die HLEG unterscheidet innerhalb der technischen Robustheit vier eng verwandte Aspekte, die in der Praxis zusammen betrachtet werden sollten:
  • Widerstandsfähigkeit gegen Angriffe: KI-Systeme können Ziel gezielter Manipulation werden – etwa durch manipulierte Eingaben, die das Modell zu Fehlklassifikationen verleiten, oder durch Versuche, Trainingsdaten oder Modellparameter zu kompromittieren. Robuste Systeme sind gegen solche Angriffe abgesichert und werden auf entsprechende Schwachstellen getestet.
  • Rückfallebenen und Sicherheit: Für den Fall von Fehlern oder Ausfällen braucht es definierte Rückfalloptionen – etwa den Übergang in einen sicheren Zustand oder an eine menschliche Bearbeitung. Ein System sollte scheitern können, ohne Schaden anzurichten.
  • Genauigkeit: Das System soll korrekte Urteile und Vorhersagen treffen, und seine Genauigkeit soll bekannt, messbar und für den Einsatzzweck angemessen sein. Wo Genauigkeit nicht garantiert werden kann, muss dies transparent gemacht werden.
  • Zuverlässigkeit und Reproduzierbarkeit: Gleiche Eingaben sollten – im Rahmen des technisch Möglichen – zu nachvollziehbaren, konsistenten Ergebnissen führen. Reproduzierbarkeit erleichtert Prüfung, Fehlersuche und Vertrauen.

Sicherheit als Querschnittsthema

Robustheit und Cybersicherheit greifen bei KI besonders eng ineinander. Ein KI-System ist ein Software-Artefakt und teilt daher zunächst alle klassischen Sicherheitsanforderungen. Hinzu kommen aber KI-spezifische Angriffsflächen: Modelle können durch manipulierte Eingaben getäuscht, durch das Auslesen von Ausgaben teilweise rekonstruiert oder durch vergiftete Trainingsdaten in ihrem Verhalten verändert werden. Ein durchdachtes Sicherheitskonzept für KI berücksichtigt deshalb sowohl die konventionelle IT-Sicherheit als auch diese neuen Vektoren – idealerweise eingebettet in ein bestehendes Informationssicherheits-Managementsystem.
Für den Mittelstand ist die praktische Botschaft entlastend: Die meisten Betreiber müssen keine eigenen Angriffe erforschen, sondern von ihren Anbietern belastbare Aussagen zur Robustheit einfordern und die eigenen Einsatzbedingungen absichern. Wer ein KI-Werkzeug einkauft, sollte fragen, wie mit Fehlern umgegangen wird, welche Genauigkeit für den konkreten Zweck belegt ist und welche Rückfallebenen vorgesehen sind. Diese Fragen gehören in die Lieferantenbewertung und in Verträge.
Hinweis zur Robustheit

Kein KI-System ist absolut sicher oder fehlerfrei – Robustheit ist immer relativ zu Zweck, Kontext und akzeptiertem Restrisiko. Definieren Sie deshalb für jeden relevanten Anwendungsfall, welche Genauigkeit und welches Verhalten Sie erwarten, und dokumentieren Sie die getroffenen Annahmen. Wo Sicherheit oder Grundrechte berührt sind, sollten technische und rechtliche Bewertung zusammenkommen. Dies ist keine Rechtsberatung.

Kapitel 04 · Transparenz & Erklärbarkeit

Transparenz und Erklärbarkeit

Transparenz ist die Anforderung, die vertrauenswürdige KI von einer „Blackbox“ unterscheidet. Sie sorgt dafür, dass Entscheidungen nachvollziehbar werden, Nutzende wissen, womit sie es zu tun haben, und Prüfstellen Systeme bewerten können. Die folgenden Ausführungen sind sachlich und ersetzen keine rechtliche Prüfung im Einzelfall.

Die HLEG fasst unter Transparenz drei zusammenhängende Aspekte: die Rückverfolgbarkeit (Traceability) der Daten und Prozesse, die Erklärbarkeit (Explainability) der Entscheidungen und die Kommunikation gegenüber den betroffenen Menschen. Rückverfolgbarkeit bedeutet, dass dokumentiert ist, mit welchen Daten ein System trainiert wurde, wie es entwickelt und getestet wurde und wie einzelne Ergebnisse zustande kommen. Erst diese Dokumentation macht ein System prüfbar – im eigenen Haus wie gegenüber Aufsicht und Kunden.

Erklärbare KI (XAI) als technischer Kern

Der technisch anspruchsvollste Teil der Transparenz ist die Erklärbarkeit. Viele moderne KI-Modelle sind so komplex, dass ihre Entscheidungen nicht unmittelbar verständlich sind. Das Feld der erklärbaren KI – Explainable AI, kurz XAI – entwickelt Methoden, um solche Modelle nachvollziehbar zu machen: etwa indem sichtbar wird, welche Merkmale eine Entscheidung beeinflusst haben, oder indem einzelne Vorhersagen mit verständlichen Begründungen versehen werden. Wichtig ist dabei die Adressatengerechtigkeit: Eine Erklärung für Entwickler:innen sieht anders aus als eine für Betroffene oder für eine Aufsichtsbehörde.
Erklärbarkeit ist jedoch kein Selbstzweck, sondern dient konkreten Funktionen: Sie ermöglicht menschliche Aufsicht, weil man nur überstimmen kann, was man versteht. Sie erlaubt die Prüfung auf unfaire Verzerrungen, weil sichtbar wird, worauf ein System reagiert. Und sie schafft die Grundlage für Rechenschaft, weil Entscheidungen begründbar werden. Damit ist Transparenz eng mit den Anforderungen aus Kapitel 05 und 06 verwoben – sie ist gewissermaßen deren technische Voraussetzung.

Transparenz gegenüber Nutzenden

Die dritte Dimension ist die offene Kommunikation. Menschen sollen wissen, dass sie mit einem KI-System interagieren, und sie sollen die Fähigkeiten und Grenzen des Systems einschätzen können. Ein Chatbot sollte sich als solcher zu erkennen geben; eine KI-gestützte Empfehlung sollte als solche kenntlich sein; und Nutzende sollten erfahren, was das System kann und was nicht. Diese Kommunikationspflichten sind organisatorisch meist gut beherrschbar und überschneiden sich teilweise mit den Transparenzpflichten des EU AI Act – ein Beispiel dafür, wie das ethische Rahmenwerk und die spätere Regulierung ineinandergreifen.
Transparenz-Ebene Was sie leistet Typisches Mittel
Rückverfolgbarkeit Dokumentiert Daten, Entwicklung und Ergebniswege für spätere Prüfung. Protokolle, technische Dokumentation
Erklärbarkeit Macht Entscheidungen für Menschen verständlich und überprüfbar. XAI-Methoden, adressatengerechte Erklärungen
Kommunikation Informiert Nutzende über KI-Einsatz, Fähigkeiten und Grenzen. Hinweise, Kennzeichnung, Dokumentation
Praxis-Hinweis

Transparenz muss nicht bedeuten, jedes Detail eines Modells offenzulegen. Entscheidend ist, dass die richtigen Informationen bei den richtigen Adressaten ankommen: nachvollziehbare Begründungen für Betroffene, prüfbare Dokumentation für die Aufsicht, technische Details für das eigene Team. Beginnen Sie dort, wo Entscheidungen Menschen unmittelbar betreffen – hier zahlt Transparenz am stärksten auf Vertrauen ein.

Kapitel 05 · Fairness, Diversität & Nicht-Diskriminierung

Fairness, Diversität und Nicht-Diskriminierung

Kaum eine Anforderung an vertrauenswürdige KI hat so viel öffentliche Aufmerksamkeit erhalten wie die Fairness. Denn KI-Systeme können bestehende Ungleichheiten nicht nur abbilden, sondern verstärken – oft unbemerkt und in großem Maßstab. Die folgenden Ausführungen sind sachlich und ersetzen keine rechtliche Prüfung im Einzelfall.

Die HLEG fasst diese Anforderung unter „Vielfalt, Nicht-Diskriminierung und Fairness“ zusammen und benennt drei Stoßrichtungen: die Vermeidung unfairer Verzerrungen (Bias), die Barrierefreiheit und universelles Design sowie die Einbeziehung betroffener Gruppen (Stakeholder-Beteiligung). Der Kerngedanke: Ein KI-System soll niemanden ohne sachlichen Grund benachteiligen und möglichst allen Menschen zugänglich sein – unabhängig von Merkmalen wie Geschlecht, Herkunft, Alter oder Behinderung.

Wie Verzerrungen (Bias) entstehen

Unfaire Verzerrungen sind selten Absicht. Meist entstehen sie aus den Daten: Wenn historische Daten bestehende Ungleichheiten enthalten, lernt ein Modell diese Muster und schreibt sie fort. Ein bekanntes Beispielmuster ist die Personalauswahl, bei der ein System aus vergangenen Einstellungsentscheidungen lernt und dabei unbeabsichtigt Gruppen benachteiligt, die in der Vergangenheit seltener eingestellt wurden. Bias kann aber auch aus der Modellierung selbst, aus unausgewogenen Stichproben oder aus der Art der Nutzung entstehen. Wichtig ist die Erkenntnis: Fairness lässt sich nicht durch Weglassen sensibler Merkmale allein herstellen, weil andere Merkmale als Stellvertreter wirken können.
Weil es keinen einzelnen, universell gültigen Fairness-Begriff gibt, erfordert Fairness immer eine bewusste Abwägung. Verschiedene mathematische Fairness-Definitionen können sich sogar widersprechen, sodass eine Organisation entscheiden muss, welches Verständnis von Gerechtigkeit für den konkreten Anwendungsfall angemessen ist. Diese Entscheidung ist nicht rein technisch, sondern normativ – und sollte deshalb bewusst getroffen, begründet und dokumentiert werden, idealerweise unter Einbeziehung betroffener Perspektiven.

Barrierefreiheit und Beteiligung

Fairness endet nicht bei der Vermeidung von Diskriminierung. Die HLEG betont ebenso das universelle Design: KI-Systeme sollen so gestaltet sein, dass sie möglichst allen Menschen zugänglich sind, auch Menschen mit Behinderungen. Barrierefreiheit ist damit kein Randthema, sondern integraler Bestandteil vertrauenswürdiger KI. Dazu gehört, dass Benutzeroberflächen, Erklärungen und Interaktionswege inklusiv gestaltet werden.
Der dritte Baustein ist die Einbeziehung betroffener Gruppen über den gesamten Lebenszyklus. Wer ein KI-System entwickelt oder einführt, sollte die Perspektiven derer einholen, die von seinen Ergebnissen betroffen sind. Das schärft den Blick für mögliche Verzerrungen, deckt blinde Flecken auf und erhöht die Akzeptanz. Für den Mittelstand bedeutet das nicht zwingend aufwendige Verfahren, sondern oft schon den bewussten Einbezug von Fachbereichen, Betriebsrat oder Testnutzenden vor dem breiten Einsatz.
Stärken
  • Bewusste Auswahl und Prüfung repräsentativer, qualitätsgesicherter Daten.
  • Definiertes, dokumentiertes Fairness-Verständnis für den Anwendungsfall.
  • Regelmäßige Tests auf Verzerrungen entlang relevanter Merkmale.
  • Einbindung betroffener Gruppen und barrierefreies Design.
Einschränkungen
  • Annahme, das Weglassen sensibler Merkmale genüge gegen Bias.
  • Blindes Vertrauen in historische Daten als „neutrale“ Wahrheit.
  • Fairness als einmaliger Test statt als laufende Überwachung.
  • Fehlende Verantwortlichkeit für den Umgang mit erkannten Verzerrungen.
Einordnung

Fairness in der KI berührt nicht nur ethische, sondern auch rechtliche Fragen – etwa das Allgemeine Gleichbehandlungsgesetz und datenschutzrechtliche Vorgaben. Wo ein KI-System über Menschen mitentscheidet, sollten die eingesetzten Prüfungen und Abwägungen dokumentiert und im Zweifel fachjuristisch begleitet werden. Dies ist keine Rechtsberatung; die Anwendbarkeit im Einzelfall ist mit einer Fachjurist:in zu klären.

Kapitel 06 · Menschliche Aufsicht & gesellschaftliches Wohl

Menschliche Aufsicht und gesellschaftliches Wohl

Zwei Anforderungen rahmen das Konzept vertrauenswürdiger KI besonders deutlich: die menschliche Aufsicht, die den Menschen in der Entscheidung hält, und das gesellschaftliche Wohl, das den Blick über das einzelne Unternehmen hinaus weitet. Zusammen mit der Rechenschaft bilden sie die governance-nahe Klammer der sieben Anforderungen.

Die Anforderung „Vorrang menschlichen Handelns und menschliche Aufsicht“ steht bewusst an erster Stelle der HLEG-Liste. Ihr Kern: KI soll die menschliche Autonomie und Entscheidungsfähigkeit unterstützen, nicht ersetzen oder untergraben. Menschen sollen in der Lage bleiben, informierte Entscheidungen zu treffen, und dürfen nicht in unzulässiger Weise durch KI manipuliert, konditioniert oder in Abhängigkeit gebracht werden. Aus diesem Grundsatz folgt die Notwendigkeit einer wirksamen menschlichen Aufsicht über KI-Systeme.

Modelle menschlicher Aufsicht

Menschliche Aufsicht lässt sich auf verschiedenen Ebenen verankern, die häufig mit den Begriffen Human-in-the-Loop, Human-on-the-Loop und Human-in-Command beschrieben werden. Beim Human-in-the-Loop greift ein Mensch in jeden einzelnen Entscheidungszyklus ein – geeignet für besonders sensible Entscheidungen. Beim Human-on-the-Loop überwacht ein Mensch den laufenden Betrieb und kann bei Bedarf eingreifen, ohne jede Einzelentscheidung zu treffen. Der Human-in-Command-Ansatz schließlich beschreibt die übergeordnete Fähigkeit, den Einsatz eines KI-Systems insgesamt zu überwachen, zu steuern und bei Bedarf zu unterbinden. Welches Modell angemessen ist, hängt vom Risiko des Anwendungsfalls ab.
Entscheidend ist, dass Aufsicht wirksam ist und nicht nur auf dem Papier existiert. Eine reine Bestätigungsfunktion, bei der ein Mensch KI-Vorschläge nur noch abnickt, erfüllt den Anspruch nicht. Wirksame Aufsicht setzt voraus, dass die aufsichtführende Person die Entscheidung versteht (Transparenz), über ausreichende Kompetenz verfügt, genügend Zeit und Autorität hat und tatsächlich eingreifen kann. Damit ist die menschliche Aufsicht eng mit Transparenz, KI-Kompetenz und der Gestaltung von Prozessen verknüpft.

Gesellschaftliches und ökologisches Wohl

Die Anforderung „gesellschaftliches und ökologisches Wohl“ weitet den Horizont über das einzelne System und seine unmittelbaren Nutzenden hinaus. Sie fragt nach den breiteren Auswirkungen: Ist der Einsatz nachhaltig und umweltverträglich – etwa mit Blick auf den Energiebedarf großer Modelle? Welche sozialen Folgen hat er, etwa für Arbeit und Qualifikation? Und wie wirkt er auf Demokratie und gesellschaftlichen Zusammenhalt, etwa wenn KI zur Meinungsbildung beiträgt? Diese Fragen sind für ein einzelnes mittelständisches System oft nicht dramatisch, verdienen aber eine bewusste, ehrliche Betrachtung.
Die siebte Anforderung, die Rechenschaft (Accountability), schließt den Kreis. Sie verlangt, dass Verantwortlichkeiten klar zugeordnet sind, dass Systeme prüfbar (auditierbar) sind, dass mit negativen Auswirkungen angemessen umgegangen wird und dass es zugängliche Beschwerdewege gibt. Rechenschaft macht Vertrauenswürdigkeit belegbar – gegenüber Betroffenen, Kunden und Aufsicht. Ohne sie blieben die anderen sechs Anforderungen folgenlos, weil niemand für ihre Einhaltung einstünde.
INAGRO-Einschätzung

In unseren Projekten ist die menschliche Aufsicht der Punkt, an dem sich vertrauenswürdige KI im Alltag beweist. Der häufigste Fehler ist die „Alibi-Aufsicht“: ein Mensch, der formal zustimmt, aber weder Zeit noch Verständnis noch echte Eingriffsmöglichkeit hat. Gestalten Sie Aufsicht so, dass sie wirklich wirkt – mit klaren Rollen, ausreichender Kompetenz und der Autorität, Nein zu sagen. Wie stark die Aufsicht im Einzelfall rechtlich gefordert ist, klären Sie mit einer Fachjurist:in. Dies ist keine Rechtsberatung.

Kapitel 07 · AI Act, ISO 42001 & NIST RMF

Bezug zu EU AI Act, ISO/IEC 42001 und NIST AI RMF

Vertrauenswürdige KI ist der rote Faden, der ethisches Rahmenwerk, verbindliche Regulierung und freiwillige Normen verbindet. Wer das Konzept versteht, erkennt in EU AI Act, ISO/IEC 42001 und NIST AI RMF keine konkurrierenden Welten, sondern aufeinander bezogene Bausteine. Die folgenden Ausführungen sind sachlich und ersetzen keine rechtliche Prüfung.

Die HLEG-Leitlinien haben die europäische KI-Regulierung inhaltlich vorgeprägt. Viele Anforderungen, die dort als ethischer Anspruch formuliert wurden, finden sich im EU AI Act als verbindliche Pflichten wieder – etwa Risikomanagement, Daten-Governance, technische Dokumentation, Transparenz, menschliche Aufsicht sowie Genauigkeit, Robustheit und Cybersicherheit für Hochrisiko-Systeme. Vereinfacht gesagt: Der AI Act übersetzt zentrale Elemente vertrauenswürdiger KI in Gesetzesform, allerdings gezielt für bestimmte Risikoklassen und mit rechtlicher Durchsetzbarkeit. Eine ausführliche Darstellung des AI Act finden Sie im verlinkten Fachartikel dieser Kategorie.

ISO/IEC 42001: das Managementsystem für KI

Während der AI Act vorgibt, was erreicht werden muss, liefert die internationale Norm ISO/IEC 42001 ein bewährtes Muster dafür, wie eine Organisation dies systematisch umsetzt. Sie beschreibt ein KI-Managementsystem (AI Management System, AIMS) mit Rollen, Richtlinien, Risikobetrachtung, Kontrollen und kontinuierlicher Verbesserung – analog zu ISO/IEC 27001 in der Informationssicherheit. Die Norm ist freiwillig und für sich genommen kein Nachweis gesetzlicher Konformität. Sie ist aber ein hervorragendes Gerüst, um die Prinzipien vertrauenswürdiger KI und die Anforderungen des AI Act strukturiert, wiederholbar und nachweisbar zu verankern.

NIST AI RMF: der risikobasierte Werkzeugkasten

Aus dem angelsächsischen Raum kommt mit dem NIST AI Risk Management Framework ein weiteres, ebenfalls freiwilliges Rahmenwerk, das sich sehr gut mit dem europäischen Ansatz kombinieren lässt. Es strukturiert den Umgang mit KI-Risiken entlang von vier Funktionen, die häufig mit „Govern, Map, Measure, Manage“ beschrieben werden: eine Governance-Kultur schaffen, den Kontext und die Risiken erfassen, sie analysieren und messen sowie sie behandeln und überwachen. Das NIST-Framework benennt ähnliche Eigenschaften vertrauenswürdiger KI wie die HLEG – etwa Gültigkeit und Zuverlässigkeit, Sicherheit, Rechenschaft und Transparenz, Erklärbarkeit, Datenschutz und Fairness – und bietet praktische Anleitung, sie in Risikoprozesse zu übersetzen. Es ist damit vor allem als operativer Werkzeugkasten wertvoll, nicht als Rechtspflicht.
Rahmenwerk Charakter Rolle für vertrauenswürdige KI
HLEG-Leitlinien Ethisches Rahmenwerk (freiwillig) Definiert das Konzept und die sieben Anforderungen; prägt die Regulierung inhaltlich vor.
EU AI Act Verbindliches EU-Recht Übersetzt zentrale Anforderungen in Pflichten – risikobasiert und durchsetzbar.
ISO/IEC 42001 Internationale Norm (freiwillig) Liefert das Managementsystem, um Anforderungen strukturiert und nachweisbar umzusetzen.
NIST AI RMF Rahmenwerk (freiwillig) Bietet einen risikobasierten Werkzeugkasten zur Operationalisierung.
Für die Praxis ergibt sich daraus ein stimmiges Bild: Das Konzept vertrauenswürdiger KI liefert das Warum und die inhaltlichen Ziele, der AI Act das verbindliche Muss für bestimmte Systeme, ISO/IEC 42001 das organisatorische Wie und das NIST-Framework praktische Werkzeuge. Unternehmen müssen sich nicht für eines entscheiden – im Gegenteil: Die Rahmenwerke ergänzen sich, und wer eines konsequent nutzt, erfüllt zu großen Teilen auch die anderen. Diese Anschlussfähigkeit ist einer der praktischen Vorzüge, wenn man vertrauenswürdige KI als gemeinsame Grundlage begreift.
Praktischer Zusammenhang

Wer bereits ein Informationssicherheits-Managementsystem nach ISO/IEC 27001 betreibt und DSGVO-Strukturen pflegt, hat einen erheblichen Vorsprung: Rollen, Risikoprozesse und Dokumentation lassen sich auf KI ausweiten, und ISO/IEC 42001 schlägt die Brücke. Ob und wann eine Norm im Einzelfall regulatorische Wirkung entfaltet, hängt von ihrem amtlichen Status ab und ist fachlich zu prüfen. Dies ist keine Rechtsberatung.

Kapitel 08 · Umsetzung im Mittelstand

Umsetzung im Mittelstand mit der ALTAI-Assessment-Liste

Vertrauenswürdige KI bleibt abstrakt, solange sie nicht überprüfbar wird. Genau dafür hat die HLEG die ALTAI-Liste entwickelt – die „Assessment List for Trustworthy AI“. Sie übersetzt die sieben Anforderungen in konkrete Fragen und macht sie damit für den Mittelstand handhabbar. Der folgende Fahrplan ist eine organisatorische Hilfestellung, keine Rechtsberatung.

Die ALTAI ist ein praxisnahes Selbstbewertungsinstrument, das die sieben Anforderungen in Fragen entlang der einzelnen Anwendungsfälle gliedert. Statt abstrakt über Ethik zu diskutieren, arbeitet eine Organisation eine strukturierte Checkliste ab: Verstehen Nutzende, dass sie mit KI interagieren? Ist wirksame menschliche Aufsicht vorgesehen? Wurden Daten auf Verzerrungen geprüft? Existieren Rückfallebenen? Diese Konkretheit ist der Grund, warum die ALTAI auch für kleinere Unternehmen ein guter Einstiegspunkt ist – sie braucht kein KI-Forschungsteam, sondern strukturierte Arbeit an den richtigen Fragen.

Der pragmatische Umsetzungsweg

01
Anwendungsfälle und KI-Inventar erfassen
Zunächst wird sichtbar gemacht, wo im Unternehmen KI eingesetzt wird – inklusive eingebetteter Funktionen in Standardsoftware. Für jeden relevanten Anwendungsfall werden Zweck, Datenbezug, betroffene Menschen und die eigene Rolle festgehalten. Ohne dieses Fundament ist keine sinnvolle Bewertung möglich.
02
Kritikalität einschätzen
Nicht jeder Anwendungsfall verdient denselben Aufwand. Systeme, die über Menschen mitentscheiden, werden priorisiert; unkritische Anwendungen werden schlanker behandelt. Diese Priorisierung lenkt die Energie dorthin, wo Vertrauenswürdigkeit am wichtigsten ist.
03
ALTAI-Selbstbewertung durchführen
Für die priorisierten Fälle wird die ALTAI-Checkliste entlang der sieben Anforderungen abgearbeitet. Das Ergebnis ist ein ehrliches Bild von Stärken und Lücken – dokumentiert, nachvollziehbar und als Grundlage für Maßnahmen geeignet.
04
Maßnahmen ableiten und Lieferanten einbinden
Aus den Lücken entsteht eine konkrete Maßnahmenliste mit Verantwortlichen und Terminen: Transparenzhinweise, Aufsichtsregelungen, Bias-Prüfungen, Dokumentation. Bei eingekaufter KI werden Anbieter aktiv nach Belegen zu Robustheit, Fairness und Transparenz gefragt.
05
In Governance und Kompetenz verankern
Die Bewertung wird kein Einmalprojekt, sondern Teil einer schlanken KI-Governance – mit Verantwortlichkeiten, einer KI-Richtlinie und rollenbasiertem Kompetenzaufbau. ISO/IEC 42001 kann hierfür das Gerüst liefern.
06
Überwachen und erneut bewerten
Da sich Daten, Nutzung und Umfeld ändern, wird die Bewertung regelmäßig wiederholt, neue Anwendungsfälle durchlaufen den Prozess. So bleibt Vertrauenswürdigkeit über den Lebenszyklus erhalten statt zum Momentaufnahme-Nachweis zu verkommen.

Was der Mittelstand realistisch leisten muss

Die gute Nachricht für kleinere Unternehmen: Vertrauenswürdige KI verlangt keinen Perfektionismus, sondern Angemessenheit. Die Tiefe der Bewertung darf sich am Risiko orientieren. Für den Großteil unkritischer Anwendungen genügt eine schlanke Betrachtung; der eigentliche Aufwand konzentriert sich auf wenige Fälle, in denen KI über Menschen mitentscheidet. Wer diese Fälle sauber bearbeitet und die Ergebnisse dokumentiert, hat den Kern erreicht – und schafft zugleich die Grundlage, um regulatorische Anforderungen später mühelos zu erfüllen.
Ebenso wichtig wie die Werkzeuge ist die Haltung: Vertrauenswürdige KI lebt von einer Kultur, in der kritische Fragen erwünscht sind und Probleme gemeldet werden dürfen. Aus unserer Beratungspraxis entscheidet oft nicht das ausgefeilteste Modell über den Erfolg, sondern die Bereitschaft einer Organisation, unbequeme Fragen zuzulassen und Verantwortung klar zuzuordnen. Diese Kultur lässt sich nicht kaufen, aber gezielt aufbauen.
Realistische Einordnung

Die ALTAI ist ein Selbstbewertungsinstrument, kein Zertifikat und kein Konformitätsnachweis. Ihr Wert liegt darin, dass sie die richtigen Fragen stellt und eine gemeinsame Sprache schafft. Für belastbare rechtliche Aussagen – etwa zur AI-Act-Konformität – braucht es die Einbindung von Fachjurist:innen. Dies ist keine Rechtsberatung; die Anwendbarkeit im Einzelfall ist mit einer Fachjurist:in zu klären.

Kapitel 09 · Nutzen, Grenzen & DSGVO-Bezug

Nutzen, Grenzen und Bezug zur DSGVO

Vertrauenswürdige KI ist kein Selbstzweck. Sie zahlt sich aus – hat aber auch Grenzen, die man kennen sollte, um sie nicht zu überfordern. Und sie steht in engem Verhältnis zur Datenschutz-Grundverordnung, sobald personenbezogene Daten im Spiel sind. Die folgenden Ausführungen sind sachlich und ersetzen keine rechtliche Prüfung.

Der Nutzen vertrauenswürdiger KI ist zunächst strategisch: Sie macht KI überhaupt einsetzbar. Systeme, denen Mitarbeitende, Kund:innen und Aufsicht vertrauen können, werden genutzt, akzeptiert und skaliert – während undurchsichtige oder unfaire Systeme früher oder später blockiert werden. Hinzu kommt der regulatorische Vorlauf: Wer vertrauenswürdige KI verinnerlicht, erfüllt zentrale Anforderungen des EU AI Act nahezu nebenbei und muss später nicht in Hektik nachbessern. Und schließlich wirkt Vertrauenswürdigkeit als Differenzierungsmerkmal – in Ausschreibungen und Lieferketten, in denen Nachweise zu verantwortungsvoller KI zunehmend verlangt werden.

Die Grenzen realistisch benennen

Ebenso wichtig ist ein nüchterner Blick auf die Grenzen. Vertrauenswürdige KI beseitigt keine grundsätzlichen Zielkonflikte: Mehr Transparenz kann mit Geschäftsgeheimnissen oder Sicherheit kollidieren; höhere Genauigkeit kann mit Erklärbarkeit oder Datensparsamkeit in Spannung stehen; verschiedene Fairness-Verständnisse können sich widersprechen. Vertrauenswürdigkeit löst diese Konflikte nicht auf, sondern macht sie sichtbar und zwingt zu bewussten, dokumentierten Abwägungen. Auch bietet das Konzept keine absolute Sicherheit: Restrisiken bleiben, und kein Rahmenwerk kann garantieren, dass ein System sich nie falsch verhält.
Eine weitere Grenze liegt in der Umsetzung selbst. Die Prinzipien sind anerkannt, ihre praktische Ausgestaltung aber anspruchsvoll und teils noch in Entwicklung – etwa bei Fairness-Metriken oder Erklärbarkeitsmethoden. Für den Mittelstand bedeutet das: Vertrauenswürdige KI ist ein Weg der kontinuierlichen Verbesserung, kein Zustand, den man einmal erreicht und abhakt. Wer das akzeptiert, vermeidet die Enttäuschung überzogener Erwartungen und die Nachlässigkeit falscher Sicherheit gleichermaßen.

Das Verhältnis zur DSGVO

Sobald ein KI-System personenbezogene Daten verarbeitet, greift zusätzlich die Datenschutz-Grundverordnung. Vertrauenswürdige KI und DSGVO überschneiden sich an mehreren Stellen, decken aber nicht dasselbe ab. Die DSGVO verlangt unter anderem eine tragfähige Rechtsgrundlage, Datenminimierung, Zweckbindung, Betroffenenrechte und – bei voraussichtlich hohem Risiko – eine Datenschutz-Folgenabschätzung. Mehrere Anforderungen vertrauenswürdiger KI berühren genau diese Themen: Die Anforderung „Datenschutz und Daten-Governance“ deckt sich teilweise mit datenschutzrechtlichen Grundsätzen, und Transparenz sowie Rechenschaft haben klare datenschutzrechtliche Bezüge.
Besonders relevant ist die DSGVO-Regelung zu automatisierten Entscheidungen im Einzelfall: Wo KI ohne wesentliches menschliches Zutun Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung trifft, gelten besondere Anforderungen und Betroffenenrechte. Genau hier verbinden sich Datenschutz und die Anforderung menschlicher Aufsicht. Wer beide Perspektiven zusammendenkt, vermeidet Doppelarbeit und Lücken. Wichtig bleibt die Abgrenzung: Eine Datenschutz-Folgenabschätzung nach DSGVO und die Bewertung vertrauenswürdiger KI sind nicht identisch und sollten im Einzelfall aufeinander abgestimmt werden.
Vertrauenswürdige KI und DSGVO im Zusammenspiel

Datenschutz ist ein integraler Teil vertrauenswürdiger KI, aber kein Ersatz für die eigenständige DSGVO-Compliance. Beide Ebenen sollten bewusst verzahnt werden – so entsteht ein konsistentes Vorgehen statt paralleler Insellösungen. Die folgenden Berührungspunkte sind eine Orientierung, keine abschließende rechtliche Bewertung.

Rechtsgrundlage
Tragfähige Grundlage für jede Datenverarbeitung sicherstellen
Datenminimierung
Nur benötigte Daten – Bezug zur Daten-Governance
Betroffenenrechte
Auskunft, Berichtigung und Widerspruch ermöglichen
Automatisierte Entscheidung
Menschliche Aufsicht bei erheblicher Wirkung
Hinweis zum DSGVO-Bezug

Ob im konkreten Fall eine Datenschutz-Folgenabschätzung nötig ist, welche Rechtsgrundlage trägt und wie mit automatisierten Entscheidungen umzugehen ist, sind rechtliche Fragen des Einzelfalls. Behandeln Sie die hier genannten Berührungspunkte als Orientierung und stimmen Sie die Umsetzung mit Ihrer Datenschutz- und Rechtsfunktion ab. Dies ist keine Rechtsberatung; die Anwendbarkeit im Einzelfall ist mit einer Fachjurist:in zu klären.

Kapitel 10 · Häufige Fragen

Häufig gestellte Fragen zu vertrauenswürdiger KI

Diese Fragen tauchen in unseren Beratungsgesprächen zu Trustworthy AI am häufigsten auf – kurz und sachlich beantwortet. Alle Antworten sind eine fachliche Orientierung und ausdrücklich keine Rechtsberatung; die Anwendbarkeit im Einzelfall ist mit einer Fachjurist:in zu klären.

Was bedeutet vertrauenswürdige KI überhaupt?
Vertrauenswürdige KI beschreibt einen Anspruch, dem KI-Systeme genügen sollten, um zu Recht Vertrauen zu verdienen. Nach den EU-HLEG-Leitlinien ruht dieser Anspruch auf drei Komponenten: KI soll rechtmäßig, ethisch und robust sein. Daraus werden sieben konkrete Anforderungen abgeleitet – von menschlicher Aufsicht über Transparenz und Fairness bis zur Rechenschaft. Vertrauenswürdigkeit ist damit kein einzelnes Merkmal, sondern das Zusammenspiel mehrerer Eigenschaften über den gesamten Lebenszyklus.
Ist vertrauenswürdige KI gesetzlich verpflichtend?
Das Konzept selbst und die HLEG-Leitlinien sind ein ethisches Rahmenwerk und kein Gesetz. Viele ihrer Anforderungen sind jedoch in verbindliche Regelungen eingeflossen – insbesondere in den EU AI Act, der zentrale Elemente für bestimmte Risikoklassen zu Pflichten macht, sowie in die DSGVO, sobald personenbezogene Daten verarbeitet werden. Ob und in welchem Umfang ein konkretes System rechtlich verpflichtet ist, hängt vom Einzelfall ab und sollte mit einer Fachjurist:in geklärt werden. Dies ist keine Rechtsberatung.
Was sind die sieben Anforderungen der HLEG?
Die sieben Anforderungen lauten: menschliche Aufsicht und Vorrang menschlichen Handelns; technische Robustheit und Sicherheit; Datenschutz und Daten-Governance; Transparenz; Vielfalt, Nicht-Diskriminierung und Fairness; gesellschaftliches und ökologisches Wohl; sowie Rechenschaft. Sie sind nicht als Rangfolge gedacht, sondern greifen ineinander und werden je nach Anwendungsfall unterschiedlich stark gewichtet. Keine von ihnen ist grundsätzlich entbehrlich.
Wie hängen vertrauenswürdige KI und der EU AI Act zusammen?
Die HLEG-Leitlinien haben den EU AI Act inhaltlich vorgeprägt. Anforderungen wie Risikomanagement, Daten-Governance, Transparenz, menschliche Aufsicht sowie Robustheit finden sich im AI Act als verbindliche Pflichten für Hochrisiko-Systeme wieder. Vereinfacht: Vertrauenswürdige KI liefert die Ziele, der AI Act macht zentrale Teile davon für bestimmte Systeme rechtlich verbindlich. Wer vertrauenswürdige KI ernst nimmt, arbeitet bereits in die Richtung späterer Pflichten. Die rechtliche Bewertung im Einzelfall gehört in fachjuristische Hände – dies ist keine Rechtsberatung.
Was ist die ALTAI-Liste und wofür nutzt man sie?
ALTAI steht für „Assessment List for Trustworthy AI“ und ist ein von der HLEG entwickeltes Selbstbewertungsinstrument. Es übersetzt die sieben Anforderungen in konkrete Fragen entlang einzelner Anwendungsfälle und macht sie so überprüfbar. Für den Mittelstand ist die ALTAI ein guter Einstieg, weil sie kein Forschungsteam erfordert, sondern strukturierte Arbeit an den richtigen Fragen. Sie ist allerdings ein Selbstcheck und kein Zertifikat oder Konformitätsnachweis.
Was ist der Unterschied zwischen Robustheit und Sicherheit?
Beide Begriffe überschneiden sich, betonen aber unterschiedliche Aspekte. Robustheit meint, dass ein System auch unter widrigen Bedingungen zuverlässig und genau funktioniert, mit Fehlern umgehen kann und reproduzierbare Ergebnisse liefert. Sicherheit meint den Schutz vor Angriffen und Missbrauch – bei KI zusätzlich zu klassischer IT-Sicherheit auch der Schutz vor KI-spezifischen Angriffen auf Daten und Modell. In der Praxis gehören beide zusammen und werden gemeinsam betrachtet.
Wie lässt sich Fairness in KI konkret prüfen?
Fairness beginnt bei den Daten: Sie sollten möglichst repräsentativ und qualitätsgesichert sein. Da es keinen einzigen gültigen Fairness-Begriff gibt, muss zunächst festgelegt werden, welches Fairness-Verständnis für den Anwendungsfall angemessen ist. Anschließend werden Ergebnisse entlang relevanter Merkmale auf Verzerrungen geprüft – und zwar wiederholt, nicht nur einmalig. Wichtig ist, dass das Weglassen sensibler Merkmale allein nicht genügt, weil andere Merkmale als Stellvertreter wirken können. Wo KI über Menschen mitentscheidet, sollte die Prüfung dokumentiert und fachjuristisch begleitet werden. Dies ist keine Rechtsberatung.
Was bedeutet wirksame menschliche Aufsicht?
Wirksame Aufsicht bedeutet, dass ein Mensch KI-Entscheidungen tatsächlich verstehen, überwachen und bei Bedarf eingreifen oder überstimmen kann – nicht nur formal zustimmt. Sie setzt Transparenz, ausreichende Kompetenz, genügend Zeit und echte Eingriffsautorität voraus. Je nach Risiko reicht das Spektrum vom Eingriff in jede Einzelentscheidung über die Überwachung des laufenden Betriebs bis zur übergeordneten Steuerung. Eine reine Bestätigungsfunktion, bei der Vorschläge nur abgenickt werden, erfüllt den Anspruch nicht.
Womit sollte ein Mittelständler konkret anfangen?
Mit einer nüchternen Bestandsaufnahme: einem Inventar der eingesetzten KI-Anwendungen und einer Priorisierung nach Kritikalität. Für die wichtigen Fälle – vor allem dort, wo KI über Menschen mitentscheidet – bietet sich die ALTAI-Selbstbewertung an, aus der konkrete Maßnahmen entstehen. Parallel empfiehlt sich der Aufbau von KI-Kompetenz und einer schlanken KI-Governance, idealerweise gestützt auf ISO/IEC 42001. So wird Vertrauenswürdigkeit greifbar und wächst mit dem Unternehmen. Die rechtliche Bewertung der Einzelfälle gehört in fachjuristische Hände – dies ist keine Rechtsberatung; die Anwendbarkeit im Einzelfall ist mit einer Fachjurist:in zu klären.

Vertrauenswürdige KI strukturiert angehen

Bereit, Ihre KI vertrauenswürdig zu gestalten?

Von der ALTAI-Selbstbewertung über Transparenz und Fairness bis zu Governance und KI-Kompetenz – INAGRO begleitet Sie pragmatisch und herstellerneutral auf dem Weg zu vertrauenswürdiger KI. Sachlich, strukturiert und mit klarem Blick für den Mittelstand. Wir liefern keine Rechtsberatung; die rechtliche Bewertung im Einzelfall erfolgt gemeinsam mit Fachjurist:innen.

Seit 2006 am Markt

Erfahrung aus über 100 Digitalprojekten

DSGVO & Souveränität

Datenschutz von Anfang an mitgedacht

Rückmeldung in 24 h

Schnell, direkt, unverbindlich