Der Begriff „Center of Excellence“ stammt nicht aus der KI-Welt, sondern aus dem klassischen Kompetenzzentrums-Gedanken: Unternehmen bündeln knappes Spezialwissen an einer Stelle, um es effizient, konsistent und in hoher Qualität bereitzustellen. Übertragen auf KI bedeutet das ein Team – oder im Mittelstand oft nur eine kleine Gruppe –, das die methodische, technische und organisatorische Kompetenz für den KI-Einsatz vorhält, weiterentwickelt und den Fachbereichen zur Verfügung stellt. Ein KI-CoE ist damit weniger ein Ort als eine Funktion: Es liefert Orientierung, Werkzeuge, Standards und konkrete Unterstützung.
Der Anlass für ein KI-CoE ist fast immer derselbe. In einer frühen Phase experimentieren einzelne Abteilungen mit KI-Werkzeugen – hier ein Chatbot im Kundenservice, dort ein Prognosemodell im Einkauf, anderswo generative Textwerkzeuge im Marketing. Diese Experimente sind wertvoll, doch sie bleiben isoliert: Erfahrungen werden nicht geteilt, Fehler wiederholen sich, Standards fehlen, und niemand hat den Überblick, welche Systeme mit welchen Daten arbeiten. Genau diese Fragmentierung ist das Problem, das ein CoE löst.
Zur Schärfung hilft eine bewusste Abgrenzung. Ein KI-CoE ist kein reines Forschungslabor, das losgelöst von der Wertschöpfung an Modellen tüftelt. Es ist auch keine Governance-Behörde, deren Hauptzweck darin besteht, Vorhaben zu bremsen und zu prüfen. Und es ist keine klassische IT-Abteilung, die Systeme betreibt und Tickets abarbeitet. Vielmehr steht das CoE an der Schnittstelle: Es verbindet strategische Ziele mit fachlicher Umsetzung, stellt Standards bereit, ermöglicht (Enablement) und beschleunigt – bleibt aber immer an messbarer Wertschöpfung orientiert.
Diese Abgrenzung ist praktisch bedeutsam, weil ein CoE leicht in eine der drei Fehlrollen abgleitet. Wird es zum Labor, produziert es interessante Prototypen ohne Geschäftsnutzen. Wird es zur Kontrollinstanz, verlieren die Fachbereiche das Vertrauen und arbeiten am CoE vorbei. Wird es zum reinen Dienstleister, verkommt es zu einem Ticketsystem ohne strategische Wirkung. Ein gutes CoE hält bewusst die Mitte – es ist Enabler und Standardsetzer zugleich.
Ein KI-CoE steht nicht allein, sondern ist Teil eines größeren Gefüges. Es setzt die KI-Strategie operativ um, arbeitet innerhalb der Leitplanken der KI-Governance und wird häufig von einem CAIO (Chief AI Officer) oder einer vergleichbaren Rolle verantwortet. Vereinfacht gesagt: Die Strategie beschreibt das „Warum“ und „Wohin“, die Governance definiert das „Wie sicher und regelkonform“, und das CoE liefert das „Wie in der Praxis“. Dieses Zusammenspiel wird in Kapitel 06 vertieft; hier genügt der Merksatz, dass ein CoE ohne strategische Verankerung und ohne Governance-Rahmen selten trägt.
Das übergeordnete Ziel eines KI-CoE lautet: KI-Vorhaben schneller, sicherer und wiederholbar zum Erfolg führen. Dahinter stehen mehrere konkrete Wirkungen. Erstens bündelt das CoE knappe Kompetenz: Erfahrene KI-Fachleute sind rar und teuer – ein CoE macht ihr Wissen für die gesamte Organisation nutzbar, statt es in einzelnen Projekten zu vergraben. Zweitens verhindert es doppelte Arbeit: Was einmal gelöst wurde, wird zum wiederverwendbaren Baustein. Drittens hebt es die Qualität: Einheitliche Standards für Datenqualität, Sicherheit, Dokumentation und Evaluierung senken das Risiko teurer Fehlentwicklungen.
In der Beratungspraxis ordnen wir den Nutzen eines CoE gern entlang von drei Dimensionen, die sich gegenseitig verstärken. Sie helfen, die oft diffuse Frage „Was bringt uns das?“ greifbar zu machen.
Ein wichtiger Gedanke vorab: Ein CoE soll nicht möglichst viele KI-Projekte erzeugen, sondern die richtigen Vorhaben zum Erfolg führen. Der häufigste Fehler in frühen Phasen ist die Verwechslung von Aktivität mit Wirkung – viele Prototypen, viele Workshops, viele Tools, aber wenig, das im Regelbetrieb tatsächlich Wert schafft. Ein reifes CoE misst sich deshalb nicht an der Zahl seiner Aktivitäten, sondern am geschäftlichen Ergebnis der von ihm begleiteten Anwendungsfälle.
Daraus folgt eine bewusste Zurückhaltung: Ein gutes CoE sagt auch Nein. Es priorisiert Anwendungsfälle nach Wert und Machbarkeit, stoppt aussichtslose Experimente früh und konzentriert die knappen Ressourcen auf das, was wirkt. Diese Priorisierungsfunktion ist einer der unterschätzten Nutzen eines CoE – und einer der Gründe, warum es eng mit der KI-Strategie verzahnt sein muss.
Im zentralen Modell liegt die gesamte KI-Kompetenz in einem einzigen Team, das Anwendungsfälle weitgehend selbst umsetzt. Der große Vorteil ist die Konsistenz: Standards, Werkzeuge und Qualität sind an einer Stelle gebündelt, das knappe Spezialwissen wird optimal genutzt und nicht zersplittert. Gerade wenn eine Organisation erst wenige KI-Fachleute hat, ist dies oft der einzig realistische Startpunkt – man kann Kompetenz nicht verteilen, die man nur einmal besitzt.
Die Kehrseite ist die Distanz zum Fachbereich. Ein zentrales Team versteht die fachlichen Details eines Anwendungsfalls selten so gut wie die Menschen, die täglich damit arbeiten. Zudem wird das Team leicht zum Flaschenhals: Wenn jede KI-Idee durch dieselbe kleine Gruppe muss, staut sich die Nachfrage. Das zentrale Modell ist deshalb ein hervorragender Start, aber selten das Ziel für eine wachsende Organisation.
Das Hub-and-Spoke-Modell ist in der Praxis das mit Abstand häufigste – und für die meisten wachsenden Organisationen der beste Kompromiss. Ein zentraler Hub stellt das Gemeinsame bereit: die KI-Plattform, methodische Standards, Sicherheits- und Datenschutz-Leitplanken, Vorlagen, Schulungen und übergreifende Priorisierung. Die Spokes sind KI-Kundige in den Fachbereichen, die mit dieser Unterstützung ihre eigenen Anwendungsfälle umsetzen – nah am Geschäft, aber innerhalb eines gemeinsamen Rahmens.
Der Charme dieses Modells liegt darin, dass es zwei Ziele verbindet, die sonst im Widerspruch stehen: Konsistenz durch den Hub und Nähe zum Geschäft durch die Spokes. Es skaliert deutlich besser als das rein zentrale Modell, weil die Umsetzung auf viele Schultern verteilt wird. Voraussetzung ist allerdings, dass in den Fachbereichen überhaupt genügend Kompetenz vorhanden ist oder aufgebaut wird – ein Spoke ohne Können ist nur ein Name auf dem Organigramm.
Im föderierten Modell ist KI-Kompetenz breit über die Organisation verteilt. Der zentrale Kern schrumpft auf eine koordinierende Rolle: Er sorgt für gemeinsame Standards, für Vernetzung, für den Austausch von Erfahrungen und Bausteinen – setzt aber selbst kaum noch Anwendungsfälle um. Dieses Modell entfaltet seine Stärke erst bei hoher Reife: Es setzt voraus, dass viele Bereiche eigenständig und verantwortungsvoll mit KI arbeiten können und eine belastbare gemeinsame Kultur besteht.
Für die meisten mittelständischen Unternehmen ist das föderierte Modell (noch) kein realistischer Startpunkt, sondern eher ein Zielbild für später. Wer zu früh föderiert, riskiert genau die Fragmentierung, die das CoE eigentlich verhindern soll. In der Praxis bewegen sich Organisationen daher typischerweise entlang eines Pfades: erst zentral, dann Hub-and-Spoke, und – wenn überhaupt – erst bei hoher Reife föderiert.
Am Anfang jedes CoE-Aufbaus steht die Frage: Was genau liefert ihr eigentlich? Ein CoE, das diese Frage nicht klar beantworten kann, wird von der Organisation als diffus wahrgenommen und verliert an Rückhalt. Deshalb empfiehlt es sich, das Leistungsangebot bewusst wie einen Katalog zu formulieren – transparent, damit die Fachbereiche wissen, was sie erwarten dürfen und was nicht.
Die vielleicht wichtigste Aufgabe eines CoE ist die Steuerung des Use-Case-Portfolios – also des Bestands an KI-Anwendungsfällen von der Idee bis zum Betrieb. Das CoE sammelt Ideen, bewertet sie nach Wert und Machbarkeit, priorisiert sie und begleitet die vielversprechendsten von der Konzeption über den Piloten bis zur Produktivsetzung. Ebenso wichtig: Es sortiert früh aus, was nicht trägt. Diese Portfolioarbeit ist der Ort, an dem KI-Strategie und operative Umsetzung zusammenkommen.
In der Praxis führt ein CoE dazu ein transparentes Verzeichnis aller Anwendungsfälle mit Status, Verantwortlichen, erwartetem Nutzen und Reifegrad. Dieses Portfolio ist mehr als eine Liste – es ist das zentrale Steuerungsinstrument. Es zeigt, wo Ressourcen gebunden sind, welche Ideen auf ihre Bewertung warten und welche Lösungen sich als Blaupause für andere Bereiche eignen. Die enge Verbindung zum Thema KI-Pilot ist offensichtlich: Ein Pilot ist die typische Durchgangsstation eines Anwendungsfalls im Portfolio.
Der zweite Aufgabenblock ist das technisch-methodische Fundament. Ein CoE stellt Standards bereit, an denen sich alle KI-Vorhaben orientieren: Vorgaben zu Datenqualität und Daten-Governance, zu Sicherheit und Datenschutz, zur Evaluierung von Modellen, zur Dokumentation und zur menschlichen Aufsicht. Diese Standards sind keine Selbstzweck-Bürokratie, sondern verhindern, dass jedes Projekt dieselben Fehler neu macht.
Der dritte Block ist das Enablement – die Befähigung der Organisation, selbst mit KI zu arbeiten. Ein CoE, das alles selbst macht, wird zum Flaschenhals; ein CoE, das befähigt, multipliziert seine Wirkung. Enablement umfasst rollenbasierte Schulungen, Beratung und Coaching von Fachbereichen, den Aufbau einer Community rund um KI und die Verbreitung von Wissen über gelungene und gescheiterte Anwendungsfälle. Das Ziel ist ausdrücklich, die Fachbereiche unabhängiger zu machen – nicht, sie an das CoE zu binden.
Diese Enablement-Funktion verbindet das CoE eng mit dem breiteren Thema KI-Kompetenz. Während KI-Kompetenz die grundlegende Befähigung der Belegschaft beschreibt, sorgt das CoE für die praxisnahe, anwendungsfallbezogene Vertiefung: Es übersetzt allgemeines KI-Verständnis in konkrete Handlungsfähigkeit für die jeweilige Aufgabe. Gutes Enablement ist deshalb kein einmaliges Schulungsprojekt, sondern ein fortlaufender Bestandteil des CoE-Betriebs.
Ein weit verbreitetes Missverständnis lautet, ein KI-CoE bestehe vor allem aus Data Scientists, die Modelle entwickeln. Tatsächlich ist die technische Rolle nur eine von mehreren – und in vielen mittelständischen Kontexten nicht einmal die wichtigste. Ein wirksames CoE braucht eine Mischung aus fachlicher, technischer, methodischer und kommunikativer Kompetenz. Entscheidend ist das Zusammenspiel, nicht die Zahl der Titel.
Die folgende Übersicht beschreibt typische Rollen. Wichtig: Es handelt sich um Rollen, nicht zwingend um Personen. In einem großen Konzern besetzt jede Rolle ein eigenes Team, im Mittelstand vereint eine Person häufig mehrere davon. Die Rollenlogik hilft trotzdem, keine wichtige Kompetenz zu vergessen.
Eine Rolle verdient besondere Aufmerksamkeit, weil sie in der Praxis über Erfolg oder Scheitern entscheidet: die Übersetzung zwischen Fachbereich und Technik – oft „AI Translator“ oder Use-Case-Verantwortung genannt. Diese Person versteht sowohl das Geschäft als auch die Möglichkeiten und Grenzen der Technik hinreichend gut, um beide Welten zu verbinden. Sie sorgt dafür, dass technisch machbare Lösungen tatsächlich ein Geschäftsproblem treffen – und dass Fachbereiche realistische Erwartungen entwickeln.
Gerade in mittelständischen Organisationen ist diese Übersetzerrolle wichtiger als hochspezialisierte Forschung. Denn die meisten KI-Vorhaben scheitern nicht an fehlender technischer Raffinesse, sondern an einer schlechten Passung zwischen Lösung und Bedarf, an unklaren Anforderungen oder an mangelnder Akzeptanz. Wer diese Rolle stark besetzt, erhöht die Erfolgsquote seines gesamten Portfolios spürbar.
Ein bewährtes Muster für das Team-Setup ist ein kleiner, fester Kern ergänzt um flexible, temporäre Beiträge. Der Kern hält Kompetenz, Standards und Kontinuität; für konkrete Anwendungsfälle werden zeitweise Fachexpert:innen aus den Bereichen sowie – gerade im Mittelstand – externe Spezialist:innen hinzugezogen. Dieses Modell hält das CoE schlank und trotzdem leistungsfähig, weil nicht jede Kompetenz dauerhaft intern vorgehalten werden muss.
Wichtig ist dabei die klare Trennung von Verantwortung und Ausführung: Die Verantwortung für Standards, Priorisierung und Wertbeitrag bleibt im Kern, die Ausführung kann verteilt werden. So vermeidet man die zwei Extreme – ein aufgeblähtes CoE, das alle Kompetenzen hortet, und ein leeres CoE, das nur koordiniert, ohne selbst etwas zu können.
Um Missverständnisse zu vermeiden, hilft eine einfache Trennung der drei Ebenen. Die KI-Strategie legt fest, wofür KI überhaupt eingesetzt wird und welche Ziele damit verfolgt werden. Die KI-Governance definiert die Leitplanken – Regeln, Risikoprozesse, Verantwortlichkeiten, Datenschutz und Sicherheit. Das CoE ist die operative Umsetzungseinheit, die innerhalb dieser Leitplanken Anwendungsfälle vorantreibt, Standards liefert und befähigt. Strategie, Governance und CoE sind also keine Konkurrenten, sondern arbeitsteilige Ebenen desselben Systems.
Häufig wird ein KI-CoE von einem CAIO (Chief AI Officer) oder einer vergleichbaren KI-Verantwortung geführt. Das Verhältnis lässt sich als das von Verantwortung und Ausführungsorgan beschreiben: Der CAIO trägt die übergreifende Verantwortung für die KI-Ausrichtung des Unternehmens, vertritt das Thema in der Leitung und sorgt für strategische Verankerung; das CoE ist eines der wichtigsten Werkzeuge, mit denen der CAIO diese Verantwortung operativ einlöst. In kleineren Organisationen fallen CAIO-Rolle und CoE-Leitung oft in einer Person zusammen.
Diese enge Kopplung ist kein Zufall. Ein CoE ohne strategische Rückendeckung auf Leitungsebene bleibt ein technisches Team ohne Durchsetzungskraft; ein CAIO ohne operatives CoE hat eine Strategie, aber keinen Motor zur Umsetzung. Deshalb gehören beide zusammen – die Rollen können getrennt oder gebündelt sein, das Zusammenspiel muss in jedem Fall geklärt werden.
Besonders sorgfältig zu klären ist das Verhältnis zwischen CoE und Governance, weil hier ein latenter Zielkonflikt lauert. Das CoE will Vorhaben ermöglichen und beschleunigen; die Governance will Risiken begrenzen und kontrollieren. Werden beide Funktionen in dieselbe Einheit gepresst, entsteht leicht ein Interessenkonflikt: Wer beschleunigen und gleichzeitig bremsen soll, macht am Ende beides halbherzig. Deshalb ist es meist sinnvoll, Enablement (CoE) und Kontrolle (Governance) organisatorisch zu unterscheiden – auch wenn sie eng zusammenarbeiten.
In der Praxis bedeutet das eine produktive Arbeitsteilung: Die Governance definiert Regeln und Freigabekriterien, das CoE baut diese Kriterien in seine Standards, Vorlagen und Prozesse ein, sodass Anwendungsfälle von vornherein regelkonform entstehen. Governance wird so nicht zum nachgelagerten Bremsklotz, sondern zum eingebauten Bestandteil guter Umsetzung. Wo personenbezogene Daten im Spiel sind, bindet das CoE Datenschutz frühzeitig ein – dazu mehr in Kapitel 09.
Die dritte und für die Akzeptanz vielleicht wichtigste Beziehung ist die zu den Fachbereichen. Ein CoE, das als abgehobene Elite-Einheit wahrgenommen wird, die von oben Standards diktiert, verliert schnell den Rückhalt. Erfolgreiche CoEs verstehen sich als Partner der Fachbereiche: Sie hören zu, verstehen die geschäftlichen Bedarfe, liefern sichtbaren Nutzen und binden die Fachexpertise aktiv ein. Der Anwendungsfall gehört dem Fachbereich; das CoE hilft, ihn zum Erfolg zu führen.
Diese partnerschaftliche Haltung ist zugleich der Schlüssel zur Skalierung. Nur wenn die Fachbereiche das CoE als hilfreich und nicht als hinderlich erleben, bringen sie ihre besten Ideen ein und übernehmen später selbst Verantwortung – die Grundvoraussetzung für den Übergang zu einem Hub-and-Spoke- oder föderierten Modell. Change-Kompetenz spielt dabei eine zentrale Rolle: Der Wandel gelingt nur, wenn Menschen mitgenommen werden.
Parallel zur Roadmap hilft ein Blick auf den Reifegrad der KI-Organisation. Reifegradmodelle beschreiben typische Entwicklungsstufen – von einer fragmentierten Ausgangslage, in der einzelne Bereiche unkoordiniert experimentieren, über eine strukturierte Phase mit erstem CoE und ersten Standards, bis hin zu einem Zustand, in dem KI selbstverständlich und methodisch in die Wertschöpfung eingebettet ist. Der Nutzen solcher Modelle liegt weniger in der exakten Einstufung als in der ehrlichen Standortbestimmung: Wo stehen wir wirklich, und was ist der nächste sinnvolle Schritt?
Ein wichtiger Punkt: Der Reifegrad bestimmt das passende Betriebsmodell und den realistischen Leistungsumfang. Ein Unternehmen in einer frühen Reifephase überfordert sich mit einem föderierten Modell und einem breiten Leistungskatalog. Umgekehrt bremst ein rein zentrales CoE eine bereits reife Organisation aus. Die Kunst besteht darin, CoE-Ausgestaltung und Reifegrad in Einklang zu halten – und beides gemeinsam wachsen zu lassen.
Aus Roadmap und Reifegrad folgt ein klarer Rat: klein starten, sichtbaren Nutzen liefern, dann wachsen. Ein großzügig ausgestattetes CoE, das mit hohen Erwartungen und ohne frühe Erfolge startet, gerät schnell unter Rechtfertigungsdruck. Ein schlankes CoE dagegen, das mit wenigen, überzeugenden Anwendungsfällen beginnt, baut Vertrauen auf und wächst mit seinen Erfolgen. Diese Logik ist nicht nur ressourcenschonend, sondern auch politisch klug – sie schützt das CoE in der verletzlichen Anfangsphase.
Der erste Schritt zur mittelständischen Umsetzung ist eine Entlastung: Ein KI-CoE muss keine große Abteilung sein. Im Mittelstand beginnt es oft mit ein bis drei Personen – manchmal sogar mit einer verantwortlichen Person, die einen Teil ihrer Zeit dem Thema widmet und ein kleines, wechselndes Netzwerk um sich schart. Entscheidend ist nicht die Größe, sondern die Klarheit von Auftrag, Leistungsumfang und Verankerung. Ein schlankes CoE mit klarem Fokus wirkt mehr als ein großes ohne Richtung.
Für viele Mittelständler ist die externe Unterstützung der Schlüssel zu einem realistischen CoE. Externe Partner bringen Erfahrung aus vielen Projekten mit, füllen fehlende Spezialkompetenzen und beschleunigen den Aufbau – ohne dass das Unternehmen dauerhaft ein großes internes Team finanzieren muss. Gerade in der Aufbauphase kann ein erfahrener Partner helfen, typische Fehler zu vermeiden und schneller zu sichtbaren Ergebnissen zu kommen.
Entscheidend ist dabei ein Prinzip: Externe sollen befähigen, nicht ersetzen. Ein CoE, dessen Kompetenz vollständig bei externen Dienstleistern liegt, schafft eine gefährliche Abhängigkeit und baut keine eigene Fähigkeit auf. Sinnvoll ist ein Modell, in dem Externe den Aufbau beschleunigen, Wissen aktiv übertragen und sich mit wachsender interner Reife schrittweise zurückziehen. Die Verantwortung für Strategie, Priorisierung und Wertbeitrag muss von Anfang an intern bleiben.
Beginnen wir mit der Erfolgsmessung. Der häufigste Fehler ist, den Erfolg eines CoE an seiner Aktivität zu messen – an der Zahl der Prototypen, Workshops oder Tools. Das führt in die Irre, weil Aktivität nicht gleich Wirkung ist. Sinnvoller ist eine Kombination aus wenigen aussagekräftigen Messgrößen, die den tatsächlichen Wertbeitrag abbilden. Wichtig: Vermeiden Sie das Vortäuschen von Präzision. Belastbare Zahlen entstehen aus Ihrem eigenen Kontext, nicht aus pauschalen Versprechen.
Aus vielen CoE-Aufbauten lassen sich wiederkehrende Fallstricke destillieren. Der erste ist der Elfenbeinturm: Ein CoE, das forscht und plant, aber keinen sichtbaren Geschäftsnutzen liefert, verliert schnell seine Daseinsberechtigung. Der zweite ist der Flaschenhals: Ein zentrales Team, durch das jede Idee muss, staut die Nachfrage und frustriert die Fachbereiche. Der dritte ist die Governance-Falle: Wird das CoE zur Kontrollinstanz, arbeiten die Bereiche daran vorbei. Der vierte ist die Erwartungslücke: Zu große Versprechen zu Beginn, gefolgt von Enttäuschung.
Ein weiterer, oft übersehener Fallstrick ist der fehlende Wissenstransfer bei externer Unterstützung: Wenn Externe nur ausführen, statt zu befähigen, baut das Unternehmen keine eigene Kompetenz auf und bleibt dauerhaft abhängig. Und schließlich die Technikverliebtheit: Ein CoE, das die spannendste Technik statt des größten Geschäftsnutzens verfolgt, produziert beeindruckende Prototypen ohne Wirkung. Allen Fallstricken gemeinsam ist, dass sie sich durch klare Ausrichtung, Fokus auf Nutzen und partnerschaftliche Haltung vermeiden lassen.
KI-Vorhaben arbeiten fast immer mit Daten, und sehr häufig mit personenbezogenen Daten. Damit ist der Datenschutz kein nachgelagertes Thema, sondern ein integraler Bestandteil der CoE-Arbeit. Ein gutes CoE bindet Datenschutz und Sicherheit von der ersten Idee an ein – nach dem Grundsatz, Datenschutz durch Technikgestaltung und datenschutzfreundliche Voreinstellungen mitzudenken, statt ihn am Ende aufzusetzen. Das schützt nicht nur vor rechtlichen Risiken, sondern auch vor teuren Nacharbeiten und Vertrauensverlust.
Wichtig ist die Abgrenzung: Ein CoE koordiniert und operationalisiert den Datenschutz im KI-Kontext, trifft aber keine rechtsverbindlichen Bewertungen. Die konkrete datenschutzrechtliche Beurteilung eines Anwendungsfalls – etwa die Wahl der Rechtsgrundlage oder die Notwendigkeit einer Datenschutz-Folgenabschätzung – gehört in die Hände der oder des Datenschutzverantwortlichen und, wo nötig, einer Fachjurist:in. Das CoE sorgt lediglich dafür, dass diese Prüfung früh, systematisch und dokumentiert stattfindet.
