Der Begriff „Governance“ stammt aus der Unternehmensführung und beschreibt das System aus Zielen, Verantwortlichkeiten und Kontrollen, mit dem eine Organisation gesteuert wird. KI-Governance überträgt dieses Prinzip auf Künstliche Intelligenz: Sie sorgt dafür, dass KI-Systeme im Einklang mit den Werten, Zielen und rechtlichen Pflichten des Unternehmens entwickelt, eingekauft, eingesetzt und überwacht werden. Anders als das reine Technikmanagement blickt Governance nicht nur auf die Frage „Funktioniert das Modell?“, sondern auf „Dürfen und sollen wir dieses System so einsetzen – und wer haftet, wenn etwas schiefgeht?“.
Der Anlass für KI-Governance ist selten ein einzelnes dramatisches Ereignis, sondern die schleichende Ausbreitung von KI im Arbeitsalltag. In vielen Unternehmen entstehen KI-Anwendungen heute dezentral: Ein Fachbereich testet einen generativen Assistenten, die IT bindet eine Prognosefunktion ein, das Marketing nutzt ein Bildgenerierungswerkzeug. Ohne Rahmen entsteht daraus ein unübersichtliches Nebeneinander – bis hin zur sogenannten Schatten-KI, also der Nutzung nicht freigegebener Werkzeuge ohne Kenntnis von IT und Geschäftsführung. Governance schafft hier Ordnung, ohne Innovation auszubremsen.
In der Praxis werden drei Begriffe oft vermischt. Governance legt fest, wer entscheidet und nach welchen Grundsätzen – sie ist die steuernde Ebene. Management setzt diese Vorgaben operativ um, betreibt also die Prozesse, führt das Inventar und organisiert Freigaben. Compliance schließlich ist das Ergebnis: die nachweisbare Einhaltung interner Regeln und externer Vorgaben. Man kann es sich wie ein Verkehrssystem vorstellen: Governance beschließt die Verkehrsordnung, das Management betreibt Ampeln und Schilder, Compliance ist das regelkonforme Fahren – belegt durch nachvollziehbare Spuren.
Diese Trennung ist mehr als Wortklauberei. Wer sie versteht, vermeidet zwei typische Fehler: erstens, Governance auf ein einziges Richtliniendokument zu reduzieren (das wäre nur ein Baustein des Managements), und zweitens, Compliance mit Governance gleichzusetzen (Compliance ist das Resultat, nicht die Ursache). Eine tragfähige KI-Governance denkt alle drei Ebenen zusammen und verankert sie in klaren Verantwortlichkeiten.
Viele Unternehmen fragen zu Recht: Reicht nicht die bestehende IT- oder Datenschutz-Governance? Die Antwort lautet: als Fundament ja, als Ganzes nein. KI bringt Eigenschaften mit, die klassische Software so nicht kennt. KI-Systeme sind häufig probabilistisch statt deterministisch – sie liefern Wahrscheinlichkeiten, keine festen Ergebnisse. Sie können verzerrte oder diskriminierende Muster aus Trainingsdaten übernehmen, sie können halluzinieren, also überzeugend klingende, aber falsche Ausgaben erzeugen, und ihr Verhalten kann sich mit neuen Daten verändern. Zugleich sind viele Modelle in ihren inneren Entscheidungswegen schwer nachvollziehbar.
Genau diese Besonderheiten verlangen zusätzliche Kontrollen: eine bewusste Risikoeinordnung je Anwendungsfall, menschliche Aufsicht an den richtigen Stellen, Transparenz gegenüber Betroffenen und eine laufende Überwachung der Ergebnisqualität. KI-Governance ist der organisatorische Rahmen, der diese Kontrollen verlässlich und wiederholbar macht – statt sie dem Zufall oder dem Engagement Einzelner zu überlassen.
Die übergeordneten Ziele einer KI-Governance lassen sich in vier Punkten zusammenfassen. Erstens die Wertschöpfung absichern: KI soll einen echten Beitrag zu Effizienz, Qualität oder neuen Angeboten leisten – Governance sorgt dafür, dass Investitionen auf sinnvolle Anwendungsfälle gelenkt werden. Zweitens Risiken beherrschen: rechtliche, ethische, sicherheitsbezogene und reputationsbezogene Risiken sollen früh erkannt und angemessen behandelt werden. Drittens Vertrauen schaffen – bei Kund:innen, Beschäftigten, Partnern und Aufsichtsbehörden. Und viertens Rechts- und Normkonformität ermöglichen, etwa mit Blick auf den EU AI Act, die DSGVO oder freiwillige Normen.
Prinzipien sind das Wertegerüst der Governance. Sie werden idealerweise in wenigen Sätzen formuliert, unternehmensweit kommuniziert und in konkrete Regeln übersetzt. Drei Prinzipien bilden den Kern, um den sich weitere gruppieren.
Prinzipien entfalten erst dann Wirkung, wenn sie in konkrete, überprüfbare Regeln übersetzt werden. Das Prinzip Verantwortung etwa wird greifbar durch die Vorgabe, dass jedes KI-System eine benannte fachlich verantwortliche Person (einen „Owner“) hat. Das Prinzip Transparenz wird konkret, wenn festgelegt ist, dass Chatbots als KI gekennzeichnet werden und jede relevante Anwendung eine kurze Beschreibung im Register erhält. Und das Prinzip Risikoorientierung wird handhabbar durch eine einfache Klassifizierung, die den Prüfaufwand steuert.
Wichtig ist die Balance: Zu abstrakte Prinzipien verpuffen, zu detaillierte Regeln ersticken die Praxis. Aus unserer Beratungserfahrung bewährt sich ein zweistufiges Vorgehen – ein knappes Prinzipienpapier auf einer Seite, ergänzt durch eine praxisnahe KI-Richtlinie mit konkreten Do’s und Don’ts. So bleibt das Wertegerüst kommunizierbar, während die operative Umsetzung präzise genug ist, um im Alltag zu tragen.
Man kann sich die vier Bausteine als Antworten auf vier Fragen vorstellen: Richtlinien beantworten „Was gilt?“, Rollen beantworten „Wer ist zuständig?“, Gremien beantworten „Wer entscheidet gemeinsam?“ und Prozesse beantworten „Wie läuft es ab?“. Fehlt einer dieser Bausteine, wird die Governance instabil – etwa wenn es Regeln gibt, aber niemand für ihre Einhaltung verantwortlich ist, oder wenn Zuständigkeiten existieren, aber kein Prozess sie in geordnete Bahnen lenkt.
Am Anfang steht meist eine KI-Richtlinie (auch KI-Nutzungsrichtlinie oder AI Policy). Sie ist das zentrale, verbindliche Dokument, das den Rahmen für den Umgang mit KI im Unternehmen absteckt. Eine gute Richtlinie ist kurz, verständlich und konkret. Sie regelt typischerweise, welche KI-Werkzeuge zugelassen sind, welche Daten in welche Systeme eingegeben werden dürfen (etwa das Verbot, vertrauliche oder personenbezogene Daten in nicht freigegebene Cloud-Dienste einzugeben), wann menschliche Kontrolle zwingend ist, wie neue Anwendungen freigegeben werden und an wen man sich bei Fragen oder Vorfällen wendet.
Ergänzend entstehen oft weitere Dokumente: ein knappes Prinzipienpapier, spezifische Leitfäden für generative KI, Vorlagen für Model Cards oder Impact Assessments sowie ein Vorfall- und Eskalationsleitfaden. Entscheidend ist, dass diese Dokumente eine klare Hierarchie und einen benannten Eigentümer haben und regelmäßig überprüft werden – Richtlinien, die niemand pflegt, verlieren schnell an Wirkung.
Governance lebt von klaren Zuständigkeiten. In der Praxis haben sich mehrere Rollen bewährt, die je nach Unternehmensgröße auf mehr oder weniger Schultern verteilt werden. In kleineren Organisationen bündelt oft eine einzelne Person mehrere dieser Rollen.
Für die gemeinsame, funktionsübergreifende Steuerung richten viele Unternehmen ein KI-Board ein (auch KI-Gremium, KI-Komitee oder AI Governance Board genannt). Es ist der Ort, an dem strittige oder risikoreiche Anwendungsfälle bewertet, Grundsatzfragen entschieden und Prioritäten gesetzt werden. Ein wirksames KI-Board ist bewusst interdisziplinär besetzt – typischerweise mit Vertreter:innen aus IT, Datenschutz, Recht/Compliance, betroffenen Fachbereichen und der Geschäftsführung.
Für den Mittelstand gilt: Das KI-Board muss kein großes, formelles Komitee sein. Oft genügt eine kleine Runde von drei bis fünf Personen, die sich in einem festen Rhythmus trifft und für Grenzfälle kurzfristig zusammenkommt. Wichtiger als die Größe sind ein klares Mandat, ein dokumentierter Entscheidungsweg und die Einbindung der richtigen Perspektiven. Ein Board, das nur „nickt“, schafft keine Governance; ein Board mit echtem Mandat und guter Vorbereitung schon.
Der vierte Baustein macht Governance alltagstauglich: Prozesse beschreiben, wie ein KI-System von der Idee bis zum laufenden Betrieb geführt wird. Zentrale Prozesse sind die Aufnahme ins KI-Inventar, die Klassifizierung nach Risiko, die Freigabe eines Anwendungsfalls, die regelmäßige Re-Bewertung sowie der Umgang mit Vorfällen und Beschwerden. Diese Prozesse sollten so schlank wie möglich und so gründlich wie nötig sein – gestaffelt nach Risiko (mehr dazu in Kapitel 04 und 05).
Das KI-Inventar (auch KI-Register oder Use-Case-Register) beantwortet die scheinbar simple, in der Praxis aber oft unbeantwortete Frage: Welche KI setzen wir eigentlich ein? Ohne diese Bestandsaufnahme bleibt jede Governance blind. Das Inventar erfasst nicht nur offensichtliche KI-Werkzeuge, sondern auch die vielen eingebetteten KI-Funktionen in Standardsoftware – etwa Vorschlags-, Prognose- oder Bewertungsfunktionen in CRM-, HR- oder ERP-Systemen, die im Marketing oft gar nicht als „KI“ bezeichnet werden.
Ein gutes Inventar ist übersichtlich und dennoch aussagekräftig. Für den Mittelstand genügt oft eine strukturierte Tabelle oder eine schlanke Datenbank mit wenigen, aber entscheidenden Feldern. Bewährt haben sich unter anderem:
Das Inventar ist ausdrücklich ein lebendes Dokument. Neue Systeme kommen hinzu, bestehende ändern ihren Zweck, andere werden abgelöst. Deshalb gehört zum Inventar ein fester Aktualisierungsrhythmus und eine klare Zuständigkeit für die Pflege. Ein einmal erstelltes und dann vergessenes Inventar verliert innerhalb weniger Monate seinen Wert.
Auf dem Inventar setzt der Freigabeprozess auf. Er sorgt dafür, dass neue KI-Anwendungen nicht unkontrolliert entstehen, sondern eine geordnete, dokumentierte Prüfung durchlaufen, bevor sie produktiv gehen. Entscheidend ist, den Prozess risikobasiert zu gestalten: Eine unkritische Anwendung soll schnell und mit wenig Aufwand freigegeben werden können, eine kritische durchläuft eine tiefere Prüfung. Ein einheitlich schwerfälliger Prozess für alle Fälle ist der sicherste Weg, Schatten-KI zu fördern.
KI-Risikomanagement folgt einer bewährten Logik, die viele Unternehmen aus anderen Bereichen kennen: Risiken werden identifiziert, dann nach Eintrittswahrscheinlichkeit und möglicher Schadenshöhe bewertet, anschließend durch Maßnahmen behandelt (vermeiden, vermindern, übertragen oder bewusst akzeptieren) und schließlich fortlaufend überwacht. Der Unterschied zu klassischem IT-Risikomanagement liegt in den KI-typischen Risikoarten, die zusätzlich mitgedacht werden müssen.
Neben den bekannten IT- und Datenschutzrisiken bringen KI-Systeme eigene Risikofelder mit. Diese bewusst zu benennen, ist der erste Schritt zu ihrer Beherrschung.
Für Anwendungsfälle mit erhöhtem Risiko ist ein Impact Assessment das zentrale Werkzeug. Es ist eine strukturierte Bewertung, die vor der Freigabe systematisch prüft, welche Auswirkungen ein KI-System auf Menschen, Grundrechte, Sicherheit und das Unternehmen haben kann – und welche Maßnahmen die Risiken auf ein akzeptables Maß senken. In der Fachwelt kursieren dafür verschiedene Begriffe, etwa Algorithmic Impact Assessment oder – mit Fokus auf Grundrechte – Fundamental Rights Impact Assessment.
Ein Impact Assessment beantwortet typischerweise Fragen wie: Wer ist von den Entscheidungen des Systems betroffen, und wie schwer wögen Fehler? Welche Datenquellen werden genutzt, und wie steht es um deren Qualität und Repräsentativität? Wo bestehen Risiken für Fairness, Datenschutz oder Sicherheit? Welche menschliche Kontrolle ist vorgesehen? Und welche Maßnahmen, Auflagen und Überwachungsschritte sind nötig? Das Ergebnis wird dokumentiert und fließt in die Freigabeentscheidung ein.
Der wichtigste Grundsatz im KI-Risikomanagement ist die Verhältnismäßigkeit. Nicht jedes System braucht ein umfangreiches Assessment. Ein interner Textassistent ohne sensible Daten kann mit einer kurzen Checkliste auskommen, während ein System, das über Menschen entscheidet, eine gründliche Folgenabschätzung verdient. Diese Staffelung hält den Aufwand beherrschbar und lenkt die knappe Prüfkapazität dorthin, wo sie den größten Nutzen stiftet. Sie ist damit die praktische Umsetzung des Prinzips Risikoorientierung aus Kapitel 02.
Der Zusammenhang lässt sich in einem Satz fassen: Der EU AI Act sagt, was rechtlich verlangt wird; die ISO/IEC 42001 liefert ein zertifizierbares Gerüst, wie man ein KI-Managementsystem aufbaut; und das NIST AI RMF bietet eine praxisnahe Struktur, wie man KI-Risiken konkret handhabt. KI-Governance ist die unternehmenseigene Umsetzung, die diese Bezüge zusammenführt – herstellerneutral und angepasst an die eigene Größe.
Der EU AI Act – formal die Verordnung (EU) 2024/1689 – ist nach aktuellem Stand der maßgebliche Rechtsrahmen für KI in der EU. Er reguliert KI-Systeme risikobasiert und verlangt für Hochrisiko-Systeme unter anderem ein fortlaufendes Risikomanagement, Daten-Governance, technische Dokumentation, menschliche Aufsicht sowie Transparenz. Für KI-Governance bedeutet das: Viele der organisatorischen Bausteine – Inventar, Klassifizierung, Impact Assessments, Rollen und Prozesse – sind zugleich die Grundlage, um AI-Act-Pflichten überhaupt erfüllen und nachweisen zu können. Governance ist damit kein Selbstzweck, sondern der praktische Weg zur Konformität. Welche Pflichten im Einzelfall greifen, ist fachjuristisch zu klären.
Die ISO/IEC 42001 ist die internationale Norm für KI-Managementsysteme. Sie beschreibt, wie eine Organisation ein systematisches Managementsystem für den verantwortungsvollen Umgang mit KI aufbaut – mit Kontext, Führung, Planung, Betrieb, Bewertung und Verbesserung, ergänzt um KI-spezifische Kontrollen. Ihr großer Vorteil: Sie ist zertifizierbar und liefert damit einen anerkannten, externen Nachweis, dass Governance nicht nur auf dem Papier existiert. Für die Governance liefert sie die Ordnungsstruktur, in die sich alle Bausteine einfügen.
Das NIST AI Risk Management Framework ergänzt dies aus einer praxisnahen Risikoperspektive. Mit seinen vier Funktionen – Govern (steuern), Map (Kontext und Risiken erfassen), Measure (bewerten und messen) und Manage (behandeln) – bietet es eine intuitive Arbeitsstruktur, die sich gut mit den Prozessen aus Kapitel 04 und 05 verzahnen lässt. Es ist rechtlich nicht bindend, aber ein wertvoller Werkzeugkasten. Viele Unternehmen kombinieren beides: die ISO/IEC 42001 als zertifizierbares Managementsystem und das NIST-Framework als praktisches Vorgehensmodell für das Risikomanagement.
Die entscheidende Botschaft vorweg: Der häufigste Fehler beim Thema Tooling ist, mit der Auswahl einer Software zu beginnen. Sinnvoller ist die umgekehrte Reihenfolge – zuerst die Prozesse und Verantwortlichkeiten klären, dann die passenden Werkzeuge wählen. Für viele Mittelständler reichen anfangs strukturierte Vorlagen in vorhandenen Office- oder Kollaborationswerkzeugen völlig aus; spezialisierte Governance-Plattformen lohnen sich erst bei wachsender Komplexität.
Eine Model Card ist ein standardisierter Steckbrief, der die wichtigsten Informationen zu einem KI-System oder -Modell kompakt dokumentiert. Ursprünglich in der KI-Forschung entstanden, hat sich das Format als praktisches Governance-Instrument etabliert. Eine Model Card fasst typischerweise zusammen: Zweck und vorgesehene Einsatzfelder, Grenzen und bekannte Schwächen, Angaben zu Trainings- oder Eingangsdaten, Hinweise zu Fairness und Risiken, die vorgesehene menschliche Aufsicht sowie Verantwortliche und Versionsstand.
Der Nutzen ist doppelt. Erstens zwingt das Ausfüllen einer Model Card dazu, ein System bewusst zu durchdenken – oft treten dabei blinde Flecken zutage. Zweitens entsteht ein wiederverwendbares Dokument, das bei Prüfungen, Audits oder Anbietergesprächen sofort verfügbar ist. Für eingekaufte Systeme lohnt es sich, die vom Anbieter bereitgestellte Dokumentation als Grundlage zu nutzen und um die eigene Einsatzperspektive zu ergänzen.
Das zentrale Register ist die technische Heimat des KI-Inventars aus Kapitel 04. Es verbindet die Einzeldokumente – Model Cards, Assessments, Freigabeentscheidungen – zu einem gemeinsamen, durchsuchbaren Überblick. Im einfachsten Fall ist es eine gepflegte Tabelle; mit wachsender Zahl an Systemen kann es zu einer schlanken Datenbank oder einer spezialisierten Plattform werden. Wichtig sind nicht Umfang oder Technik, sondern drei Eigenschaften: Es ist aktuell, es ist zugänglich für die Beteiligten und es hat einen klaren Eigentümer, der für die Pflege verantwortlich ist.
Governance-Werkzeuge können viel Routine abnehmen: Sie erinnern an fällige Reviews, halten Dokumentation zusammen, schaffen Nachvollziehbarkeit und erleichtern Audits. Was sie nicht können, ist die Governance ersetzen. Ein Werkzeug trifft keine Risikoentscheidung, definiert keine Verantwortlichkeiten und ersetzt kein KI-Board. Wer die Werkzeugfrage zu früh und zu groß angeht, läuft Gefahr, ein teures System zu kaufen, das mangels klarer Prozesse ins Leere läuft. Die pragmatische Reihenfolge lautet daher: Prozesse und Rollen zuerst, Werkzeuge danach – und immer nur so viel Technik, wie die Organisation wirklich trägt.
Große Konzerne bauen oft umfangreiche Governance-Apparate mit eigenen Abteilungen, Komitees und Plattformen. Für den Mittelstand wäre das weder finanzierbar noch sinnvoll. Der Leitgedanke lautet stattdessen: so viel Governance wie nötig, so wenig wie möglich. Eine benannte Verantwortung, eine knappe Richtlinie, ein Inventar, ein risikobasierter Freigabeprozess und ein kleines Board genügen als solides Fundament – der Rest wächst mit den Anforderungen.
Aus unserer Projektpraxis hat sich ein schrittweises Vorgehen bewährt, das nach wenigen Wochen erste Wirkung zeigt und dann kontinuierlich vertieft wird. Die Etappen bauen aufeinander auf, dürfen sich aber überlappen.
Es hilft, den eigenen Stand realistisch einzuordnen. Grob lassen sich vier Reifegrade unterscheiden: Ad-hoc (KI wird genutzt, aber ohne Regeln), reaktiv (erste Richtlinien existieren, werden aber uneinheitlich gelebt), strukturiert (Inventar, Freigaben und Board sind etabliert) und systematisch (Governance ist in Prozesse integriert, wird gemessen und kontinuierlich verbessert). Die meisten Mittelständler starten zwischen Ad-hoc und reaktiv – und das Ziel für die ersten Monate ist realistischerweise der Sprung auf „strukturiert“, nicht die sofortige Perfektion.
Aus zahlreichen Projekten lässt sich ein Muster ableiten: Erfolgreiche KI-Governance ist getragen von der Führungsebene, bewusst schlank, klar in den Verantwortlichkeiten und eng mit der Praxis verbunden. Gescheiterte oder wirkungslose Governance dagegen ist meist entweder überbürokratisch (und wird deshalb umgangen) oder rein formal (und existiert nur auf dem Papier). Die folgende Gegenüberstellung fasst die wichtigsten Muster zusammen.
Sobald ein KI-System personenbezogene Daten verarbeitet, greift zusätzlich zur KI-Governance die Datenschutz-Grundverordnung. Beide Welten berühren sich an vielen Stellen: Es braucht eine tragfähige Rechtsgrundlage, den Grundsatz der Datenminimierung, die Wahrung der Betroffenenrechte und – bei voraussichtlich hohem Risiko – gegebenenfalls eine Datenschutz-Folgenabschätzung. Wer bereits ein Verzeichnis von Verarbeitungstätigkeiten führt und Folgenabschätzungen durchführt, verfügt über wertvolle Strukturen, die sich mit der KI-Governance verzahnen lassen.
Der praktische Rat lautet, KI-Governance und Datenschutz von Anfang an zusammen zu denken, statt zwei getrennte Silos aufzubauen. Das KI-Inventar und das Verzeichnis der Verarbeitungstätigkeiten sollten sich ergänzen; das KI-Impact-Assessment und die Datenschutz-Folgenabschätzung sollten aufeinander verweisen, ohne dieselbe Arbeit doppelt zu leisten. Wichtig ist zugleich die Abgrenzung: Beide Instrumente betrachten unterschiedliche Risikodimensionen und sind nicht deckungsgleich. Ob im konkreten Fall welche Prüfung nötig ist und wie sie ineinandergreifen, ist eine Frage des Einzelfalls und sollte fachjuristisch geklärt werden.
Damit Governance nicht folgenlos bleibt, hilft es, wenige aussagekräftige Kennzahlen zu beobachten – etwa den Anteil erfasster gegenüber tatsächlich genutzten KI-Systemen, die Zahl offener Freigaben, die Aktualität des Registers oder die Abdeckung der KI-Kompetenz-Schulungen. Solche Kennzahlen sollten bewusst schlank gehalten werden; sie dienen der Steuerung, nicht der Selbstbeschäftigung. Wichtiger als viele Zahlen ist, dass die wenigen erhobenen tatsächlich zu Entscheidungen führen – etwa dazu, einen überlasteten Freigabepfad zu entlasten oder ein vernachlässigtes System erneut zu bewerten.
