Wissensdatenbank · KI-Strategie, Ethik & Compliance

Data Poisoning – wenn Trainingsdaten zur Angriffsfläche werden.

Data Poisoning bezeichnet die gezielte Manipulation der Daten, aus denen ein KI-Modell lernt oder auf die es im Betrieb zugreift. Dieser Fachartikel erklärt herstellerneutral und rein defensiv, wie solche Manipulationen konzeptionell funktionieren, welche Phasen und Datenquellen betroffen sind und mit welchen Erkennungs- und Schutzmaßnahmen sich der Mittelstand wappnet. Bewusst sachlich – und ausdrücklich keine Rechtsberatung.

23 Min. Lesezeit
Aktualisiert · Juli 2026
Fachartikel · Expertenbeitrag
Data Poisoning
KI-Sicherheit · Manipulation von Trainingsdaten
Typ
KI-Sicherheitsrisiko
Angriffspunkt
Daten statt Modell
Ziele
Verfügbarkeit, Integrität
Phasen
Training, Fine-Tuning, RAG
Perspektive
Rein defensiv
Hinweis
Keine Rechtsberatung
Relevanz für KI-nutzende Unternehmen
Kapitel 01 · Grundlagen

Was ist Data Poisoning – und warum ist es gefährlich?

Data Poisoning – auf Deutsch etwa „Datenvergiftung“ – bezeichnet die gezielte, bösartige Manipulation der Daten, aus denen ein KI-Modell lernt oder auf die es im Betrieb zugreift. Der Angriff setzt nicht am fertigen Modell an, sondern eine Stufe früher: an seiner Wissensgrundlage. Genau das macht ihn so tückisch, denn ein vergiftetes Modell kann äußerlich völlig normal wirken und trotzdem in bestimmten Situationen falsch, verzerrt oder gezielt manipuliert entscheiden.

Der Grundgedanke ist einfach: Ein maschinelles Lernverfahren ist immer nur so vertrauenswürdig wie die Daten, aus denen es lernt. Wer die Trainingsdaten in seinem Sinne verändert, verändert damit auch das Verhalten des resultierenden Modells. Im Unterschied zu vielen anderen Angriffen auf KI-Systeme, die den laufenden Betrieb attackieren, wirkt Data Poisoning bereits in der Entstehungsphase eines Modells – oder schleicht sich über kontinuierlich nachgeladene Daten ein. Der Schaden ist entsprechend nachhaltig: Er ist im Modell selbst verankert und nicht durch einen einfachen Neustart zu beheben.
Wichtig ist die Abgrenzung zu verwandten Themen. Prompt Injection zielt auf die Eingabe zur Laufzeit und bringt ein Modell dazu, Anweisungen zu befolgen, die es nicht befolgen sollte. Model Theft zielt auf den Diebstahl oder die Rekonstruktion eines Modells. Data Poisoning dagegen greift die Daten an – entweder die historischen Trainingsdaten, die Daten einer Feinabstimmung oder die Wissensquellen, die ein System zur Laufzeit heranzieht. Alle drei Themen gehören zur KI-Sicherheit, adressieren aber unterschiedliche Angriffsflächen und erfordern unterschiedliche Abwehrmaßnahmen.
INAGRO-Einschätzung

Der häufigste Irrtum im Mittelstand lautet: „Wir trainieren doch gar keine eigenen Modelle, also betrifft uns Data Poisoning nicht.“ Das greift zu kurz. Sobald ein Unternehmen eigene Daten zur Feinabstimmung nutzt, eine RAG-Wissensbasis aus internen Dokumenten aufbaut oder Modelle aus offenen Quellen bezieht, entstehen Angriffsflächen. Unsere Empfehlung: Denken Sie Data Poisoning nicht als exotisches Forschungsthema, sondern als Frage der Datenhygiene und Lieferkettensicherheit. Dieser Beitrag ist bewusst rein defensiv – er beschreibt Abwehr, keine Angriffstechniken.

Warum Daten die verwundbarste Schicht sind

Klassische IT-Sicherheit konzentriert sich auf Code, Netzwerke und Zugänge. Bei KI-Systemen kommt eine neue, oft unterschätzte Schicht hinzu: die Daten. Modelle entstehen nicht durch handgeschriebene Regeln, sondern durch das statistische Auswerten großer Datenmengen. Diese Datenmengen stammen häufig aus vielen Quellen – aus öffentlich verfügbaren Sammlungen, aus zugekauften Datensätzen, aus Nutzerinteraktionen oder aus internen Dokumenten. Jede dieser Quellen ist ein potenzieller Eintrittspunkt für manipulierte Inhalte. Und weil die Datenmengen groß sind, fällt eine kleine, geschickt platzierte Verfälschung nicht ohne Weiteres auf.
Hinzu kommt, dass Daten in modernen KI-Pipelines oft automatisiert verarbeitet werden: Sie werden gesammelt, bereinigt, transformiert und ins Training gegeben, ohne dass ein Mensch jeden einzelnen Datenpunkt sieht. Diese Automatisierung ist notwendig und sinnvoll, sie vergrößert aber die Bedeutung guter Kontrollen. Wo kein Mensch mehr hinschaut, müssen technische und organisatorische Schutzmechanismen die Datenqualität sichern.

Ein anschauliches Bild statt einer Angriffsanleitung

Man kann sich Data Poisoning wie das Manipulieren eines Lehrbuchs vorstellen, aus dem eine ganze Schulklasse lernt. Wer in dieses Lehrbuch subtil falsche Aussagen einschmuggelt, verändert nicht nur eine einzelne Prüfung, sondern das Wissen aller, die daraus gelernt haben. Der Effekt zeigt sich vielleicht erst später und nur bei bestimmten Fragen – aber er ist tief verankert. Genau deshalb ist die Verteidigung gegen Data Poisoning zuerst eine Frage der Datenherkunft und Datenkuratierung: Man muss wissen, woher jede Zutat stammt, bevor man sie in den Lernprozess gibt. Konkrete Angriffsrezepte nennt dieser Beitrag bewusst nicht; im Fokus steht ausschließlich, wie sich Organisationen schützen.
Kapitel 02 · Angriffsarten

Die grundlegenden Angriffsarten im Überblick

Data-Poisoning-Angriffe lassen sich konzeptionell nach ihrem Ziel unterscheiden. Die folgende Einordnung dient ausschließlich dem Verständnis, um Schutzmaßnahmen richtig zu priorisieren – sie ist keine Handlungsanleitung. Grob teilt die Fachwelt in zwei Wirkrichtungen: Angriffe auf die Verfügbarkeit und Angriffe auf die Integrität eines Modells.

Availability-Angriffe
Verfügbarkeit

Ziel ist, die allgemeine Leistungsfähigkeit eines Modells zu verschlechtern. Durch breit gestreute, verfälschte Daten wird das Modell insgesamt ungenauer oder unzuverlässiger – ein Angriff auf die Gebrauchstauglichkeit des Systems.

WirkungBreite Verschlechterung
SichtbarkeitEher auffällig
AnalogieRauschen im Signal
Integrity-Angriffe
Integrität

Ziel ist ein gezielt falsches Verhalten in bestimmten Situationen, während das Modell ansonsten normal funktioniert. Diese Angriffe sind besonders heikel, weil das System im Alltagsbetrieb unauffällig bleibt.

WirkungGezielte Fehler
SichtbarkeitOft verdeckt
AnalogieVersteckte Abzweigung
Backdoor-Angriffe
Hintertür

Eine Sonderform der Integritätsangriffe: Das Modell verhält sich nur dann falsch, wenn ein bestimmtes, dem Angreifer bekanntes Muster im Input auftaucht. Ohne dieses Auslösemuster bleibt das System unauffällig.

WirkungBedingter Fehler
SichtbarkeitSehr verdeckt
AnalogieGeheimer Schlüssel

Availability-Angriffe: die breite Verschlechterung

Bei Angriffen auf die Verfügbarkeit geht es dem Angreifer darum, ein Modell insgesamt schlechter zu machen. Wenn ausreichend viele fehlerhafte oder widersprüchliche Daten in den Lernprozess einfließen, lernt das Modell verzerrte Zusammenhänge und wird in der Breite unzuverlässiger. In der Praxis kann sich das etwa als sinkende Trefferquote, als häufigere Fehlklassifikationen oder als generell instabileres Verhalten zeigen. Der Vorteil aus Verteidigungssicht: Solche Angriffe sind tendenziell auffälliger, weil sich eine breite Leistungsverschlechterung eher in Qualitätskennzahlen niederschlägt – vorausgesetzt, ein Unternehmen misst die Modellqualität überhaupt kontinuierlich.
Aus diesem Grund ist ein systematisches Qualitätsmonitoring die erste Verteidigungslinie gegen Verfügbarkeitsangriffe. Wer die Genauigkeit und Stabilität seiner Modelle laufend beobachtet und mit definierten Schwellen abgleicht, bemerkt eine schleichende Verschlechterung früher. Dieser Aspekt verbindet Data-Poisoning-Abwehr eng mit dem Thema KI-Qualitätssicherung und Testing.

Integrity- und Backdoor-Angriffe: die verdeckte Gefahr

Deutlich heimtückischer sind Angriffe auf die Integrität. Hier bleibt das Modell im Normalbetrieb unauffällig und liefert gute Ergebnisse – es verhält sich nur in ganz bestimmten, vom Angreifer anvisierten Situationen falsch. Eine besondere Ausprägung sind Backdoor-Angriffe (auch Hintertür-Angriffe genannt): Dabei wird das Modell so beeinflusst, dass es nur dann fehlerhaft reagiert, wenn ein spezifisches Auslösemuster im Input vorhanden ist. Fehlt dieses Muster, verhält sich das System korrekt. Genau diese Tarnung macht solche Angriffe für die Erkennung so schwierig – im Alltagsbetrieb gibt es schlicht keinen Anlass zum Verdacht.
Für die Verteidigung folgt daraus eine wichtige Konsequenz: Man kann sich nicht allein auf die durchschnittliche Modellleistung verlassen. Ein Modell kann in tausenden Testfällen einwandfrei arbeiten und trotzdem eine versteckte Fehlfunktion enthalten. Deshalb setzen defensive Strategien hier nicht nur auf Leistungsmessung, sondern zusätzlich auf saubere Datenherkunft, kritische Prüfung von Datenquellen und – bei hohem Schutzbedarf – auf gezielte Robustheitstests, die auch ungewöhnliche Eingabemuster abdecken.
Einordnung

Die Unterscheidung zwischen Verfügbarkeits- und Integritätsangriffen ist kein Selbstzweck: Sie hilft, Schutzmaßnahmen richtig zu gewichten. Gegen breite Verschlechterung wirkt vor allem kontinuierliches Qualitätsmonitoring; gegen verdeckte Manipulation braucht es zusätzlich saubere Datenherkunft und Kuratierung. Beide Wirkrichtungen erfordern denselben kulturellen Ausgangspunkt: das Bewusstsein, dass Daten eine schützenswerte Ressource sind.

Kapitel 03 · Betroffene Phasen

Wo Data Poisoning ansetzt: Training, Fine-Tuning und RAG

Data Poisoning ist kein einmaliges Ereignis, sondern kann an mehreren Stellen im Lebenszyklus eines KI-Systems ansetzen. Für den Mittelstand sind vor allem drei Phasen relevant, weil sie genau dort liegen, wo Unternehmen eigene Daten einbringen. Die folgende Übersicht ordnet die Angriffsflächen ein – rein zur Priorisierung der Verteidigung.

Phase Was passiert hier Relevanz für den Mittelstand
Vortraining Aufbau eines Basismodells aus sehr großen, oft öffentlichen Datenmengen. Indirekt – meist über zugelieferte Basismodelle
Fine-Tuning Feinabstimmung eines Basismodells mit eigenen, spezifischen Daten. Hoch – hier fließen eigene Daten ein
RAG-Wissensbasis Zur Laufzeit angebundene Wissensquellen (Dokumente, Datenbanken). Sehr hoch – weit verbreitet im Mittelstand
Kontinuierliches Lernen Laufende Aktualisierung eines Modells mit neuen Betriebsdaten. Mittel – bei lernenden Systemen relevant

Training und Vortraining: die Basis der Modelle

Große Basismodelle entstehen in einem aufwendigen Vortraining aus enormen Datenmengen, die häufig aus öffentlich zugänglichen Quellen zusammengetragen werden. Genau diese Offenheit ist eine Stärke – und zugleich eine Angriffsfläche, denn öffentlich zugängliche Daten können prinzipiell von jedem eingestellt werden. Die allermeisten mittelständischen Unternehmen trainieren solche Basismodelle nicht selbst, sondern beziehen sie von Anbietern. Für sie verlagert sich das Thema damit auf eine Frage der Lieferkette: Wie vertrauenswürdig ist die Herkunft des eingesetzten Basismodells, und welche Angaben macht der Anbieter zu seiner Datenherkunft und Qualitätssicherung? Dieser Aspekt wird in Kapitel 07 vertieft.
Wer doch eigene Modelle von Grund auf trainiert – etwa in spezialisierten technischen Anwendungen –, trägt die volle Verantwortung für die Sauberkeit der Trainingsdaten. Hier greifen die klassischen Prinzipien der Daten-Governance besonders stark: kontrollierte Quellen, dokumentierte Herkunft und sorgfältige Kuratierung, bevor Daten in den Lernprozess gelangen.

Fine-Tuning: der sensible Moment der eigenen Daten

Für viele Unternehmen ist das Fine-Tuning die praktisch bedeutsamste Phase. Dabei wird ein vorhandenes Basismodell mit eigenen, oft branchenspezifischen Daten nachjustiert, damit es die Sprache, Fälle und Anforderungen des Unternehmens besser trifft. Genau in diesem Moment fließen eigene Daten direkt in das Modellverhalten ein – und damit auch jede Verunreinigung, die in diesen Daten steckt. Stammen die Fine-Tuning-Daten aus schlecht kontrollierten Quellen, aus unstrukturierten Sammlungen oder aus automatisch zusammengetragenen Inhalten, steigt das Risiko, dass fehlerhafte oder gezielt platzierte Daten das Ergebnis verfälschen.
Die gute Nachricht: Beim Fine-Tuning sind die Datenmengen meist deutlich kleiner und überschaubarer als beim Vortraining. Das macht Kuratierung, Prüfung und Herkunftsnachweise praktisch machbar. Wer seine Fine-Tuning-Daten aus klar definierten, vertrauenswürdigen Quellen zieht, dokumentiert und vor der Verwendung prüft, reduziert das Risiko erheblich.

RAG-Wissensbasis: die unterschätzte Laufzeit-Angriffsfläche

Besonders relevant – und oft unterschätzt – ist die RAG-Wissensbasis. RAG steht für Retrieval-Augmented Generation, also für Systeme, die zur Laufzeit auf externe Wissensquellen zugreifen, um ihre Antworten mit aktuellen oder unternehmensspezifischen Informationen zu untermauern. Solche Systeme sind im Mittelstand weit verbreitet, etwa als interne Wissensassistenten, die auf Handbücher, Richtlinien oder Produktdaten zugreifen. Der entscheidende Punkt: Bei RAG wird das Modell selbst nicht verändert – aber die Wissensquelle, aus der es schöpft, kann manipuliert werden. Schmuggelt jemand irreführende oder falsche Inhalte in die angebundenen Dokumente oder Datenbanken, kann das System diese Inhalte als vermeintlich vertrauenswürdiges Wissen ausgeben.
Weil RAG-Wissensbasen häufig aus lebenden, laufend aktualisierten Quellen bestehen – Wikis, Dokumentenablagen, angebundene Datenbanken –, ist hier die Zugriffskontrolle besonders wichtig. Wer darf Inhalte in die Wissensbasis einstellen oder ändern? Werden diese Änderungen protokolliert und geprüft? Genau diese Fragen entscheiden darüber, wie gut eine RAG-Architektur gegen Manipulation geschützt ist. Positiv ist: Anders als beim Training lässt sich eine kompromittierte RAG-Quelle vergleichsweise schnell korrigieren, sobald das Problem erkannt ist – das Wissen steckt nicht unumkehrbar im Modell.
Praxis-Hinweis

Für die meisten Mittelständler liegen die realen Angriffsflächen nicht im Vortraining großer Modelle, sondern im eigenen Fine-Tuning und in der RAG-Wissensbasis. Genau dort fließen eigene Daten ein – und genau dort ist die Verteidigung mit vertretbarem Aufwand machbar: durch kontrollierte Quellen, Zugriffskontrolle und Herkunftsnachweise.

Kapitel 04 · Auswirkungen & Risiken

Auswirkungen und unternehmerische Risiken

Warum lohnt sich der Aufwand der Abwehr? Weil die Folgen eines erfolgreichen Data-Poisoning-Angriffs weit über einen technischen Defekt hinausgehen. Sie reichen von schleichenden Qualitätsverlusten über konkrete Fehlentscheidungen bis hin zu Reputations- und Compliance-Schäden. Die folgenden Ausführungen ordnen die Risiken sachlich ein, ohne dramatisierende Fallzahlen zu erfinden.

Der Kern des Problems liegt in der Verzögerung und Tarnung: Ein vergiftetes Modell zeigt seinen Defekt oft nicht sofort und nicht überall, sondern nur unter bestimmten Bedingungen. Dadurch bleibt ein Angriff mitunter lange unentdeckt, und die daraus resultierenden Fehlentscheidungen wirken sich über einen längeren Zeitraum aus. Wenn ein Unternehmen seine Modelle nicht kontinuierlich überwacht, kann so ein Schaden entstehen, der erst spät oder gar nicht auf seine wahre Ursache zurückgeführt wird.

Die Bandbreite möglicher Schäden

  • Qualitäts- und Verfügbarkeitsverlust: Ein in der Breite verschlechtertes Modell liefert schlechtere Ergebnisse, was die Wertschöpfung des KI-Einsatzes untergräbt und im schlimmsten Fall den Betrieb eines Systems in Frage stellt.
  • Gezielte Fehlentscheidungen: Bei Integritäts- oder Backdoor-Angriffen kann das System in genau den Situationen falsch entscheiden, die dem Angreifer nützen – etwa indem bestimmte Fälle systematisch anders behandelt werden als sie sollten.
  • Verzerrung und Diskriminierung: Manipulierte Daten können Verzerrungen einschleusen oder verstärken, sodass ein System Personengruppen ungleich behandelt. Damit berührt Data Poisoning unmittelbar das Thema Bias und Fairness.
  • Fehlinformation über RAG: Wird eine Wissensbasis manipuliert, kann ein Assistenzsystem falsche Auskünfte als gesichertes Wissen ausgeben – mit direkten Folgen für Entscheidungen, die auf diesen Auskünften beruhen.
  • Reputations- und Vertrauensschaden: Werden manipulierte oder fehlerhafte KI-Entscheidungen öffentlich, kann das Vertrauen von Kund:innen, Partnern und Beschäftigten nachhaltig leiden.
  • Compliance-Risiken: Fehlende Daten- und Sicherheitskontrollen können mit regulatorischen Anforderungen kollidieren – dazu mehr in Kapitel 09.

Warum Data Poisoning schwer zu reparieren ist

Ein zentraler Unterschied zu vielen anderen Sicherheitsvorfällen ist die Nachhaltigkeit des Schadens. Ist eine Manipulation erst einmal ins Modell eingelernt, lässt sie sich nicht durch einen einfachen Neustart oder ein Update entfernen. In der Regel muss das Modell mit bereinigten Daten neu trainiert oder erneut feinabgestimmt werden – ein Prozess, der Zeit und Ressourcen kostet. Erschwerend kommt hinzu, dass sich oft nicht zweifelsfrei feststellen lässt, welche Datenpunkte genau die Ursache waren. Diese Kombination aus verdeckter Wirkung und aufwendiger Reparatur macht die Prävention so wichtig: Es ist deutlich günstiger, verunreinigte Daten gar nicht erst ins Training zu lassen, als einen Schaden nachträglich zu beheben.
Bei RAG-Systemen ist die Lage etwas günstiger: Da das Wissen nicht ins Modell eingelernt ist, sondern zur Laufzeit geladen wird, lässt sich eine manipulierte Wissensquelle nach ihrer Entdeckung vergleichsweise schnell korrigieren. Das ändert aber nichts daran, dass falsche Auskünfte bis zur Entdeckung realen Schaden anrichten können.
INAGRO-Einschätzung

In unserer Beratungspraxis erleben wir, dass Unternehmen die Kosten eines schlecht gepflegten Datenbestands regelmäßig unterschätzen. Der Aufwand für Prävention – saubere Quellen, Kuratierung, Monitoring – erscheint zunächst hoch, ist aber gut planbar. Der Aufwand für die Reparatur eines vergifteten Modells ist dagegen kaum vorhersehbar und trifft im ungünstigsten Moment. Prävention ist hier fast immer die wirtschaftlichere Wahl.

Kapitel 05 · Erkennung

Erkennung: Datenvalidierung, Anomalien und Provenance

Wer sich gegen Data Poisoning wehren will, muss Manipulationen möglichst früh erkennen – idealerweise bevor verunreinigte Daten ins Training gelangen. Die Erkennung stützt sich auf drei Säulen: die systematische Validierung von Daten, die Erkennung von Auffälligkeiten und die lückenlose Nachverfolgung der Datenherkunft. Alle drei sind rein defensive Werkzeuge.

Wichtig vorab: Es gibt keinen einzelnen Mechanismus, der Data Poisoning zuverlässig ausschließt. Erkennung ist immer ein Zusammenspiel mehrerer Kontrollen, die sich gegenseitig ergänzen. Je höher der Schutzbedarf eines Systems, desto mehr dieser Kontrollen sollten ineinandergreifen. Für Systeme mit geringem Risiko genügen oft schlanke Prüfungen; für kritische Anwendungen lohnt sich ein mehrstufiges Vorgehen.

Datenvalidierung und Plausibilitätsprüfungen

Die erste Säule ist die Datenvalidierung: die systematische Prüfung eingehender Daten auf formale und inhaltliche Plausibilität, bevor sie weiterverarbeitet werden. Dazu gehören Prüfungen auf erwartete Formate und Wertebereiche, auf Vollständigkeit und Konsistenz sowie auf offensichtliche Widersprüche. Auch das Erkennen von Duplikaten und das Prüfen, ob die Verteilung neuer Daten zur erwarteten Verteilung passt, gehören dazu. Solche Prüfungen fangen viele Probleme früh ab – nicht nur böswillige Manipulationen, sondern auch versehentliche Fehler, die die Datenqualität mindern. Datenvalidierung ist damit ein doppelter Gewinn: Sie erhöht die Sicherheit und zugleich die Qualität.

Anomalieerkennung: Ausreißer sichtbar machen

Die zweite Säule ist die Anomalieerkennung. Sie sucht nach Datenpunkten oder Mustern, die sich ungewöhnlich stark vom Rest unterscheiden. Der Gedanke dahinter: Manipulierte Daten weichen häufig – wenn auch nicht immer – in irgendeiner Weise von der Normalität ab, etwa in ihrer statistischen Verteilung, in ihrer Häufung oder in ihrem Kontext. Statistische Verfahren und spezialisierte Werkzeuge können solche Auffälligkeiten sichtbar machen, ohne dass ein Mensch jeden Datenpunkt einzeln prüfen muss. Ergänzend hilft ein Modell-seitiges Monitoring: Wenn die Qualität eines Modells plötzlich oder schleichend sinkt, kann das ein Hinweis auf verunreinigte Daten sein. Die kontinuierliche Beobachtung von Qualitätskennzahlen ist deshalb eng mit der KI-Qualitätssicherung verwoben.
Bei RAG-Systemen kommt eine spezifische Erkennungsebene hinzu: die Beobachtung der abgerufenen Inhalte. Werden regelmäßig Quellen herangezogen, die nicht zur erwarteten Wissensbasis passen, oder tauchen widersprüchliche Aussagen auf, kann das auf eine manipulierte oder verunreinigte Wissensquelle hindeuten. Auch hier gilt: Anomalien sind Indizien, keine Beweise – sie sollten menschlich geprüft werden.

Provenance: die Herkunft lückenlos nachverfolgen

Die dritte und in vielerlei Hinsicht wichtigste Säule ist die Provenance, also die nachvollziehbare Herkunft der Daten. Provenance beantwortet die Fragen: Woher stammt dieser Datensatz? Wer hat ihn erhoben, verändert oder freigegeben? Welche Verarbeitungsschritte hat er durchlaufen? Ein lückenloser Herkunftsnachweis macht es ungleich schwerer, unbemerkt manipulierte Daten einzuschleusen, und erleichtert im Ernstfall die Ursachenanalyse. In der Praxis wird Provenance durch Metadaten, Versionierung von Datensätzen, Zugriffs- und Änderungsprotokolle sowie durch kontrollierte Datenpipelines umgesetzt. Je genauer die Herkunft dokumentiert ist, desto schneller lässt sich im Verdachtsfall eingrenzen, welche Daten betroffen sein könnten.
Praktischer Zusammenhang

Datenvalidierung, Anomalieerkennung und Provenance sind keine exotischen KI-Spezialdisziplinen, sondern eine konsequente Weiterentwicklung guter Datenpraxis. Wer bereits saubere Datenprozesse betreibt, hat einen erheblichen Startvorteil. Der zusätzliche Aufwand für die Data-Poisoning-Abwehr besteht vor allem darin, diese Praxis bewusst auch als Sicherheitsmaßnahme zu verstehen und konsequent auf alle KI-relevanten Datenquellen anzuwenden.

Kapitel 06 · Schutzmaßnahmen

Schutzmaßnahmen: Governance, Kuratierung und robustes Training

Erkennung allein genügt nicht – sie muss in ein System aus präventiven Schutzmaßnahmen eingebettet sein. Diese Maßnahmen reichen von organisatorischer Data Governance über die sorgfältige Kuratierung und Absicherung von Daten bis zu technischen Verfahren für robusteres Training. Alle sind rein defensiv ausgerichtet.

Data Governance
Organisation

Klare Regeln, Rollen und Verantwortlichkeiten für den Umgang mit Daten: Wer darf welche Daten aus welchen Quellen für welche Zwecke nutzen – und wer gibt sie frei?

EbeneOrganisatorisch
NutzenKontrolle & Nachweis
Kuratierung
Daten

Bewusste Auswahl, Prüfung und Bereinigung von Daten vor ihrer Nutzung. Nur geprüfte Daten aus vertrauenswürdigen Quellen gelangen in Training, Fine-Tuning oder Wissensbasis.

EbeneDaten
NutzenSaubere Grundlage
Robustes Training
Technik

Verfahren, die ein Modell weniger anfällig für einzelne verfälschte Datenpunkte machen – etwa durch widerstandsfähigere Lernmethoden und sorgfältige Qualitätskontrolle im Trainingsprozess.

EbeneTechnisch
NutzenHöhere Resilienz

Data Governance als Fundament

Die wirksamste Schutzmaßnahme ist keine einzelne Technik, sondern eine solide Data Governance. Sie legt fest, aus welchen Quellen Daten stammen dürfen, wer sie freigibt, wie sie klassifiziert werden und wer welche Zugriffe hat. Im Kern geht es darum, die Kontrolle über den eigenen Datenbestand zu behalten: Nur wer weiß, welche Daten er hat und woher sie kommen, kann Manipulationen erkennen und verhindern. Zu einer guten Data Governance gehören insbesondere die Definition vertrauenswürdiger Quellen, klare Zuständigkeiten für Datenfreigaben, eine strenge Zugriffskontrolle nach dem Prinzip der geringsten notwendigen Rechte sowie die Protokollierung von Änderungen an sicherheitsrelevanten Datenbeständen. Gerade bei RAG-Wissensbasen ist die Zugriffskontrolle entscheidend: Wer Inhalte einstellen oder ändern darf, bestimmt maßgeblich das Manipulationsrisiko.

Kuratierung, Bereinigung und Signierung

Auf der Datenebene ist die Kuratierung die zentrale Schutzmaßnahme. Kuratierung bedeutet, Daten nicht ungeprüft zu übernehmen, sondern sie bewusst auszuwählen, zu prüfen und zu bereinigen, bevor sie in einen Lernprozess oder eine Wissensbasis gelangen. Dazu gehört, unklare oder minderwertige Quellen auszuschließen, Daten auf Plausibilität zu prüfen und offensichtliche Fehler oder Widersprüche zu entfernen. Ergänzend hilft die Signierung und Versionierung von Datensätzen: Werden Datensätze mit Prüfsummen oder digitalen Signaturen versehen und versioniert, lässt sich nachträglich feststellen, ob und wann sie verändert wurden. So entsteht eine überprüfbare Kette vom Ursprung bis zur Nutzung – ein wichtiger Baustein der Provenance aus Kapitel 05.
Für zugelieferte Daten und Modelle empfiehlt sich zusätzlich, deren Integrität beim Bezug zu prüfen: Stimmt die Signatur oder Prüfsumme mit der Angabe des Anbieters überein? Solche Kontrollen sind aus der klassischen Software-Sicherheit vertraut und lassen sich sinngemäß auf Daten und Modelle übertragen.

Robustes Training und mehrschichtige Verteidigung

Auf der technischen Ebene existieren Ansätze für robusteres Training, die ein Modell weniger empfindlich gegenüber einzelnen verfälschten Datenpunkten machen. Dazu zählen widerstandsfähigere Lernverfahren, die den Einfluss extremer Ausreißer begrenzen, sowie eine konsequente Qualitätskontrolle im Trainingsprozess. Solche Verfahren sind ein sinnvoller Zusatz, ersetzen aber niemals saubere Daten und gute Governance – sie sind die letzte, nicht die erste Verteidigungslinie. Entscheidend ist das Prinzip der mehrschichtigen Verteidigung (Defense in Depth): Kein einzelner Mechanismus ist perfekt, aber das Zusammenspiel aus Governance, Kuratierung, Zugriffskontrolle, Monitoring und robustem Training macht erfolgreiche Angriffe deutlich unwahrscheinlicher und leichter erkennbar.
Stärken
  • Nur definierte, vertrauenswürdige Datenquellen zulassen und dokumentieren.
  • Strenge Zugriffskontrolle auf Trainings- und Wissensdaten nach dem Prinzip minimaler Rechte.
  • Daten vor der Nutzung kuratieren, prüfen und versionieren.
  • Integrität zugelieferter Daten und Modelle beim Bezug verifizieren.
  • Modellqualität kontinuierlich überwachen, um Auffälligkeiten früh zu bemerken.
Einschränkungen
  • Unkontrollierte Übernahme von Daten aus unklaren oder offenen Quellen.
  • Zu weite Schreibrechte auf RAG-Wissensbasen ohne Protokollierung.
  • Fehlende oder lückenhafte Herkunftsnachweise für Trainingsdaten.
  • Kein kontinuierliches Monitoring der Modellqualität.
  • Verlass auf eine einzige Schutzmaßnahme statt mehrschichtiger Verteidigung.
Praxis-Hinweis

Der größte Hebel für den Mittelstand liegt selten in ausgefeilten technischen Trainingsverfahren, sondern in soliden Grundlagen: kontrollierte Quellen, strenge Zugriffsrechte und dokumentierte Herkunft. Diese Maßnahmen sind mit vertretbarem Aufwand umsetzbar und wirken zugleich gegen versehentliche Datenfehler – sie zahlen sich also doppelt aus.

Kapitel 07 · Lieferkette & Drittdaten

Risiken aus Lieferkette und Drittdaten

Kaum ein Unternehmen baut seine KI-Systeme vollständig selbst. Basismodelle, Datensätze, vortrainierte Komponenten und Cloud-Dienste kommen von Dritten. Damit verlagert sich ein erheblicher Teil des Data-Poisoning-Risikos in die Lieferkette – an Stellen, die das eigene Unternehmen nicht direkt kontrolliert. Umso wichtiger ist ein bewusstes Lieferantenmanagement.

Die zentrale Erkenntnis lautet: Data-Poisoning-Risiken enden nicht an der eigenen Systemgrenze. Wer ein Basismodell einsetzt, übernimmt implizit das Vertrauen in dessen Trainingsdaten. Wer einen externen Datensatz einkauft, übernimmt das Vertrauen in dessen Herkunft und Sauberkeit. Und wer offene Komponenten aus öffentlichen Repositorien bezieht, verlässt sich auf deren Integrität. Jede dieser Vertrauensbeziehungen ist eine potenzielle Angriffsfläche – und zugleich ein Ansatzpunkt für Absicherung durch Verträge, Nachweise und Prüfungen.

Basismodelle und offene Komponenten

Der Bezug von Basismodellen ist für den Mittelstand der Regelfall. Da diese Modelle aus sehr großen, oft öffentlichen Datenmengen entstehen, lässt sich ihre Datenherkunft von außen kaum vollständig überprüfen. Umso wichtiger ist es, vertrauenswürdige Bezugsquellen zu wählen und die Angaben des Anbieters zu Datenherkunft, Sicherheits- und Qualitätsmaßnahmen zu bewerten. Bei offenen Modellen und Datensätzen aus öffentlichen Plattformen sollte zusätzlich auf die Reputation der Quelle, auf verfügbare Integritätsnachweise wie Signaturen oder Prüfsummen und auf eine aktive Pflege der Komponente geachtet werden. Der Bezug aus einer klar identifizierbaren, gepflegten Quelle ist grundsätzlich vertrauenswürdiger als der aus einer unbekannten oder unregelmäßig gewarteten.

Externe Datensätze und Datendienstleister

Werden externe Datensätze eingekauft oder von Dienstleistern aufbereitet, sollten die Anforderungen an Herkunft, Qualität und Sicherheit vertraglich festgehalten werden. Sinnvolle Bausteine sind etwa Zusicherungen zur Datenherkunft, Angaben zu den durchgeführten Qualitäts- und Bereinigungsschritten sowie die Möglichkeit, Herkunftsnachweise einzusehen. Auch das Recht, im Verdachtsfall Daten zurückzuweisen oder nachzuprüfen, gehört dazu. Für Datendienstleister, die im Auftrag Daten sammeln oder annotieren, ist zudem relevant, wie sie ihre eigenen Prozesse absichern – denn deren Schwachstellen werden zu den eigenen.

Drittanbieter und geteilte Verantwortung

Bei Cloud-basierten KI-Diensten gilt häufig ein Modell der geteilten Verantwortung: Der Anbieter sichert die Plattform, das Unternehmen bleibt aber für die von ihm eingebrachten Daten und Konfigurationen verantwortlich. Es lohnt sich, diese Verantwortungsteilung genau zu verstehen und die eigenen Pflichten – etwa die Absicherung der eingespeisten Fine-Tuning- oder RAG-Daten – nicht dem Anbieter zuzuschreiben. Ein strukturiertes Lieferantenmanagement, das KI- und Datenlieferanten bewusst einbezieht, ist deshalb ein wichtiger Baustein der Data-Poisoning-Abwehr.
Bezugsquelle Zentrale Frage Sinnvolle Absicherung
Basismodell Wie vertrauenswürdig ist Herkunft und Anbieter? Reputable Quelle, Anbieterangaben bewerten
Offener Datensatz Ist die Quelle bekannt und gepflegt? Integritätsnachweise, Reputation prüfen
Eingekaufter Datensatz Sind Herkunft und Qualität zugesichert? Vertragliche Zusicherungen, Nachweise
Cloud-KI-Dienst Wer verantwortet welche Datenschicht? Geteilte Verantwortung klar abgrenzen
Hinweis zur Lieferkette

Ein Unternehmen kann seine KI-Systeme noch so sorgfältig absichern – wenn eine zugelieferte Komponente kompromittiert ist, wird die Schwachstelle mit übernommen. Behandeln Sie KI- und Datenlieferanten deshalb wie andere sicherheitsrelevante Lieferanten: mit Auswahlkriterien, Nachweisen und vertraglichen Zusicherungen. Die konkrete vertragliche Ausgestaltung gehört in juristische Hände – dies ist keine Rechtsberatung.

Kapitel 08 · Umsetzung im Mittelstand

Umsetzung im Mittelstand: ein pragmatischer Weg

Wie setzt ein mittelständisches Unternehmen den Schutz gegen Data Poisoning konkret um, ohne sich zu übernehmen? Der Schlüssel liegt in einem verhältnismäßigen, risikobasierten Vorgehen: Nicht jedes System braucht denselben Aufwand. Der folgende Fahrplan hat sich in der Projektpraxis bewährt und ist als organisatorische Hilfestellung gedacht, nicht als Rechtsberatung.

Der wichtigste Grundsatz lautet: Verhältnismäßigkeit. Ein interner Assistent, der aus einem gepflegten, zugriffsbeschränkten Handbuch Auskunft gibt, braucht andere Kontrollen als ein System, das aus offenen Internetquellen lernt und automatisiert Entscheidungen trifft. Der Aufwand sollte sich am Schutzbedarf und am Schadenspotenzial des jeweiligen Systems orientieren. Diese risikobasierte Denkweise verhindert, dass Sicherheit entweder zur lähmenden Bürokratie oder zum blinden Fleck wird.
01
KI- und Daten-Inventar erstellen
Erfassen Sie, welche KI-Systeme im Einsatz sind und aus welchen Datenquellen sie lernen oder schöpfen – inklusive Fine-Tuning-Daten und RAG-Wissensbasen. Ohne diesen Überblick lässt sich kein Schutzbedarf bestimmen. Das Inventar ist die gemeinsame Grundlage mit der allgemeinen KI-Governance.
02
Schutzbedarf einordnen
Bewerten Sie je System, wie hoch der potenzielle Schaden einer Manipulation wäre und wie exponiert die Datenquellen sind. Aus dieser Einordnung ergibt sich, wo intensive Kontrollen nötig sind und wo schlanke Prüfungen genügen.
03
Quellen und Zugriffe absichern
Definieren Sie vertrauenswürdige Datenquellen, beschränken Sie Schreibrechte auf Trainings- und Wissensdaten und protokollieren Sie Änderungen. Gerade bei RAG-Wissensbasen ist die Zugriffskontrolle der wirksamste Einzelhebel.
04
Kuratierung und Herkunft etablieren
Führen Sie einen Prüf- und Freigabeschritt ein, bevor Daten ins Training, Fine-Tuning oder in die Wissensbasis gelangen. Dokumentieren Sie die Herkunft und versionieren Sie Datensätze, damit Änderungen nachvollziehbar bleiben.
05
Monitoring verankern
Beobachten Sie die Modellqualität kontinuierlich und definieren Sie Schwellen, ab denen genauer hingesehen wird. Verbinden Sie dieses Monitoring mit Ihrer KI-Qualitätssicherung, um Synergien zu nutzen.
06
In die KI-Governance integrieren
Verankern Sie die Maßnahmen in Ihrer KI-Richtlinie, benennen Sie Verantwortliche und schulen Sie die beteiligten Personen. So wird der Schutz gegen Data Poisoning zu einem dauerhaften Bestandteil und nicht zu einem einmaligen Projekt.

Klein anfangen, konsequent bleiben

Aus unserer Erfahrung scheitert die Umsetzung selten am fehlenden Wissen, sondern an mangelnder Kontinuität. Es lohnt sich, mit den Systemen mit dem höchsten Schutzbedarf zu beginnen, dort saubere Prozesse zu etablieren und diese schrittweise auf weitere Systeme auszurollen. Wichtig ist, die Verantwortlichkeit klar zuzuordnen: Solange niemand explizit für die Datenqualität und -sicherheit eines KI-Systems zuständig ist, bleibt der Schutz Zufall. Ein benannter Verantwortlicher, eine knappe Richtlinie und ein einfacher Freigabeprozess bringen oft mehr als jedes einzelne technische Werkzeug.

Menschen und Kultur nicht vergessen

Data-Poisoning-Abwehr ist zu einem großen Teil eine Frage der Datenkultur. Beschäftigte, die verstehen, warum die Herkunft von Daten zählt und warum nicht jede Quelle bedenkenlos ins System eingespeist werden darf, sind die beste Verteidigung. Ein angemessenes Grundverständnis – etwa im Rahmen der allgemeinen KI-Kompetenz – hilft, riskante Abkürzungen zu vermeiden. Diese kulturelle Dimension kostet wenig, wirkt aber breit und dauerhaft.
INAGRO-Einschätzung

Für die meisten Mittelständler ist wirksamer Schutz gegen Data Poisoning gut erreichbar – wenn er als Teil einer soliden Datenpraxis verstanden wird und nicht als isoliertes Sicherheitsprojekt. Unsere Empfehlung: risikobasiert priorisieren, mit den kritischsten Systemen beginnen und die Maßnahmen fest in KI-Governance und Qualitätssicherung verankern, statt sie parallel zu betreiben.

Kapitel 09 · EU AI Act, Sicherheit & DSGVO

Bezug zu EU AI Act, Sicherheit und DSGVO

Data Poisoning ist nicht nur ein technisches Thema, sondern berührt auch den regulatorischen Rahmen. Sowohl der EU AI Act als auch die Datenschutz-Grundverordnung setzen Anforderungen, die eng mit dem Schutz vor Datenmanipulation verbunden sind. Die folgenden Ausführungen sind eine sachliche Orientierung und ausdrücklich keine Rechtsberatung.

Der zentrale Zusammenhang: Der Schutz vor Data Poisoning ist Teil dessen, was Regulierung und Normen unter der Robustheit, Sicherheit und Datenqualität von KI-Systemen verstehen. Wer diese Themen ernst nimmt, arbeitet zugleich auf die Erfüllung wesentlicher regulatorischer Erwartungen hin – auch wenn Data Poisoning in den Rechtstexten meist nicht ausdrücklich beim Namen genannt wird.

EU AI Act: Datenqualität und Cybersicherheit

Der EU AI Act stellt nach aktuellem Stand insbesondere an Hochrisiko-Systeme Anforderungen, die den Kern der Data-Poisoning-Abwehr berühren: Dazu zählen die Anforderungen an Daten und Daten-Governance – also an die Qualität, Repräsentativität und angemessene Aufbereitung der verwendeten Datensätze – sowie die Anforderungen an Genauigkeit, Robustheit und Cybersicherheit. Beide Bereiche verlangen sinngemäß, dass ein System gegen Manipulationen und fehlerhafte Daten hinreichend widerstandsfähig ist. Der Schutz vor Data Poisoning ist damit ein praktischer Baustein, um solche Anforderungen zu erfüllen. Ob und in welchem Umfang der AI Act auf ein konkretes System anwendbar ist und welche Pflichten daraus folgen, ist eine Frage des Einzelfalls und sollte mit einer Fachjurist:in geklärt werden.
Ergänzend liefern Normen wie die ISO/IEC 42001 für KI-Managementsysteme sowie etablierte Informationssicherheits-Standards ein Gerüst, um die organisatorischen und technischen Maßnahmen strukturiert und nachweisbar zu verankern. Wer bereits ein Informationssicherheits-Managementsystem betreibt, kann viele Kontrollen sinngemäß auf KI-Daten ausweiten.

DSGVO: Datenintegrität und Richtigkeit

Auch die DSGVO ist relevant, sobald ein KI-System personenbezogene Daten verarbeitet. Mehrere ihrer Grundsätze berühren das Thema unmittelbar: der Grundsatz der Integrität und Vertraulichkeit, der eine angemessene Sicherheit der Verarbeitung verlangt, sowie der Grundsatz der Richtigkeit, wonach Daten sachlich richtig und auf dem aktuellen Stand sein sollen. Eine Manipulation von Daten, die zu falschen oder diskriminierenden Ergebnissen führt, kann datenschutzrechtlich problematisch sein – etwa mit Blick auf die Rechte betroffener Personen. Zudem können geeignete technische und organisatorische Maßnahmen zum Schutz der Daten Teil der datenschutzrechtlichen Pflichten sein. Der Schutz vor Data Poisoning zahlt damit auch auf DSGVO-Anforderungen ein.
Wichtig ist die saubere Trennung: Der AI Act ist ein Produktsicherheits- und Grundrechterahmen, die DSGVO ein Datenschutzrahmen. Beide gelten parallel und ergänzen sich. Wie sie im konkreten Fall zusammenwirken und welche Pflichten sich ergeben, ist fachjuristisch zu bewerten – dies ist keine Rechtsberatung.
Regulatorische Berührungspunkte im Überblick

Data-Poisoning-Abwehr ist kein isoliertes Sicherheitsthema, sondern verzahnt sich mit mehreren regulatorischen Erwartungen. Wer die folgenden Bereiche pflegt, erfüllt zugleich zentrale Anforderungen an vertrauenswürdige KI – die konkrete Bewertung im Einzelfall gehört in fachjuristische Hände.

AI Act
Daten-Governance sowie Robustheit und Cybersicherheit
DSGVO
Integrität, Vertraulichkeit und Richtigkeit von Daten
Normen
ISO/IEC 42001 und Informationssicherheit als Gerüst
Hinweis
Sachliche Orientierung, keine Rechtsberatung
Wichtiger Hinweis

Die hier skizzierten regulatorischen Bezüge sind eine allgemeine, sachliche Orientierung. Konkrete Pflichten, ihre Anwendbarkeit und die richtige Umsetzung hängen vom Einzelfall ab und können sich durch Leitlinien und Normen weiter konkretisieren. Lassen Sie die für Ihr Unternehmen maßgeblichen Anforderungen mit einer Fachjurist:in klären. Dies ist keine Rechtsberatung.

Kapitel 10 · Häufige Fragen

Häufig gestellte Fragen zu Data Poisoning

Diese Fragen tauchen in unseren Beratungsgesprächen am häufigsten auf – kurz und sachlich beantwortet, rein defensiv. Regulatorische Aussagen sind eine fachliche Orientierung und ausdrücklich keine Rechtsberatung; die Anwendbarkeit im Einzelfall ist mit einer Fachjurist:in zu klären.

Betrifft Data Poisoning auch Unternehmen, die keine eigenen Modelle trainieren?
Ja. Auch wer nur zugekaufte Modelle nutzt, ist betroffen – etwa sobald eigene Daten zur Feinabstimmung eingesetzt werden, eine RAG-Wissensbasis aus internen Dokumenten aufgebaut wird oder Modelle und Datensätze aus offenen Quellen bezogen werden. Das Risiko verlagert sich dann vor allem auf die eigene Datenpflege und die Lieferkette. Ein bewusster Umgang mit Datenquellen, Zugriffsrechten und Herkunftsnachweisen ist deshalb für nahezu jedes KI-nutzende Unternehmen relevant.
Was ist der Unterschied zwischen Data Poisoning und Prompt Injection?
Beide gehören zur KI-Sicherheit, greifen aber unterschiedliche Angriffsflächen an. Prompt Injection zielt auf die Eingabe zur Laufzeit und versucht, ein Modell zu unerwünschtem Verhalten zu bewegen. Data Poisoning zielt auf die Daten, aus denen ein Modell lernt oder auf die es zur Laufzeit zugreift – also auf Trainingsdaten, Fine-Tuning-Daten oder die RAG-Wissensbasis. Data Poisoning wirkt damit tiefer und nachhaltiger, während Prompt Injection an der aktuellen Interaktion ansetzt. Beide erfordern eigene Schutzmaßnahmen.
Kann man ein bereits vergiftetes Modell einfach reparieren?
In der Regel nicht durch einen einfachen Neustart oder ein Update. Ist eine Manipulation ins Modell eingelernt, muss das Modell meist mit bereinigten Daten neu trainiert oder erneut feinabgestimmt werden – ein aufwendiger Prozess. Erschwerend kommt hinzu, dass sich die verursachenden Datenpunkte oft nicht zweifelsfrei bestimmen lassen. Deshalb ist Prävention wirtschaftlicher als Reparatur. Bei RAG-Systemen ist die Lage günstiger: Da das Wissen zur Laufzeit geladen wird, lässt sich eine manipulierte Quelle nach ihrer Entdeckung schneller korrigieren.
Wie erkennt man Data Poisoning überhaupt?
Es gibt keinen einzelnen Mechanismus, der Data Poisoning zuverlässig ausschließt. Die Erkennung stützt sich auf ein Zusammenspiel aus Datenvalidierung, Anomalieerkennung und Provenance – also der lückenlosen Nachverfolgung der Datenherkunft. Ergänzend hilft ein kontinuierliches Monitoring der Modellqualität, weil eine schleichende oder plötzliche Verschlechterung ein Warnsignal sein kann. Verdeckte Angriffe wie Backdoors sind besonders schwer zu erkennen, weil das Modell im Normalbetrieb unauffällig bleibt; hier sind saubere Datenherkunft und gezielte Robustheitstests wichtig.
Sind RAG-Systeme besonders gefährdet?
RAG-Systeme sind eine oft unterschätzte Angriffsfläche, weil sie zur Laufzeit auf externe Wissensquellen zugreifen. Wird eine solche Quelle mit falschen oder irreführenden Inhalten manipuliert, kann das System diese als vermeintlich gesichertes Wissen ausgeben. Der wirksamste Schutz ist eine strenge Zugriffskontrolle: Wer darf Inhalte in die Wissensbasis einstellen oder ändern, und werden diese Änderungen protokolliert und geprüft? Positiv ist, dass sich eine kompromittierte RAG-Quelle nach ihrer Entdeckung vergleichsweise schnell korrigieren lässt, da das Modell selbst nicht verändert wird.
Was ist die wichtigste einzelne Schutzmaßnahme?
Es gibt keine einzelne Wunderwaffe – wirksamer Schutz beruht auf mehrschichtiger Verteidigung. Der größte Hebel liegt aber in einer soliden Data Governance: klar definierte, vertrauenswürdige Datenquellen, strenge Zugriffskontrolle nach dem Prinzip minimaler Rechte und dokumentierte Herkunft. Diese Grundlagen sind mit vertretbarem Aufwand umsetzbar, wirken zugleich gegen versehentliche Datenfehler und bilden das Fundament, auf dem Kuratierung, Monitoring und robustes Training aufsetzen.
Wie hängen Data Poisoning und der EU AI Act zusammen?
Der EU AI Act nennt Data Poisoning meist nicht ausdrücklich, stellt aber nach aktuellem Stand Anforderungen, die den Kern der Abwehr berühren – insbesondere an die Daten-Governance sowie an Genauigkeit, Robustheit und Cybersicherheit von Hochrisiko-Systemen. Der Schutz vor Datenmanipulation ist damit ein praktischer Baustein, um solche Anforderungen zu erfüllen. Ob und wie der AI Act auf ein konkretes System anwendbar ist, hängt vom Einzelfall ab und sollte mit einer Fachjurist:in geklärt werden. Dies ist keine Rechtsberatung.
Berührt Data Poisoning auch die DSGVO?
Ja, sobald personenbezogene Daten verarbeitet werden. Mehrere DSGVO-Grundsätze sind einschlägig – etwa die Integrität und Vertraulichkeit der Verarbeitung sowie die Richtigkeit der Daten. Eine Manipulation, die zu falschen oder diskriminierenden Ergebnissen führt, kann datenschutzrechtlich problematisch sein, und geeignete technische wie organisatorische Schutzmaßnahmen können Teil der Pflichten sein. Der Schutz vor Data Poisoning zahlt damit auch auf DSGVO-Anforderungen ein. Die konkrete Bewertung im Einzelfall gehört in fachjuristische Hände – dies ist keine Rechtsberatung.
Womit sollten wir konkret anfangen?
Mit einem KI- und Daten-Inventar: Welche Systeme sind im Einsatz und aus welchen Quellen lernen oder schöpfen sie? Darauf folgt eine risikobasierte Einordnung des Schutzbedarfs, damit der Aufwand dorthin fließt, wo das Schadenspotenzial am größten ist. Als Nächstes empfehlen sich das Absichern von Quellen und Zugriffen sowie ein Prüf- und Freigabeschritt für Daten. Verankern Sie diese Maßnahmen in Ihrer KI-Governance und Qualitätssicherung, statt sie isoliert zu betreiben – so wird der Schutz dauerhaft.

KI-Daten sicher aufstellen

Bereit, Ihre KI gegen Data Poisoning zu wappnen?

Vom KI- und Daten-Inventar über kontrollierte Quellen und Zugriffskontrolle bis zu Kuratierung, Provenance und Monitoring – INAGRO begleitet Sie pragmatisch und herstellerneutral beim Schutz Ihrer KI-Datenbasis. Sachlich, risikobasiert und mit klarem Blick für den Mittelstand. Wir liefern keine Rechtsberatung; regulatorische Fragen bewerten wir gemeinsam mit Fachjurist:innen.

Seit 2006 am Markt

Erfahrung aus über 100 Digitalprojekten

DSGVO & Souveränität

Datenschutz von Anfang an mitgedacht

Rückmeldung in 24 h

Schnell, direkt, unverbindlich