KI-Systeme und Datenschutz: Was sagt die DSK?

In einer Zeit, in der künstliche Intelligenz (KI) den Online-Handel revolutioniert, von personalisierten Produktempfehlungen über automatisierte Kundenservice-Chatbots bis hin zur Betrugserkennung, stehen Unternehmen vor einer neuen Realität. KI verspricht Effizienzsteigerungen und Wettbewerbsvorteile, doch der Preis für Fahrlässigkeit kann hoch sein: Bußgelder in Millionenhöhe, Reputationsschäden und verlorenes Kundenvertrauen.

Die Datenschutz-Grundverordnung (DSGVO) gilt vollumfänglich für KI-Anwendungen, die personenbezogene Daten verarbeiten, ergänzt durch die seit Februar 2025 schrittweise anwendbare EU-KI-Verordnung. Dieser umfassende Rechtstipp beleuchtet Definitionen, zentrale datenschutzrechtliche Sachverhalte mit einem Blick auf eine Orientierungshilfe der Datenschutzkonferenz (DSK) und praktische Lösungswege für Shopbetreiberinnen und -betreiber.​

Die Komplexität ergibt sich aus der Schnittstelle zwischen innovativer Technologie und strengen Datenschutzvorgaben. Bereits seit dem 2. Februar 2025 verbietet die KI-Verordnung bestimmte Praktiken wie Social Scoring oder biometrische Echtzeitüberwachung und verpflichtet Unternehmen zur Sicherstellung von KI-Kompetenz (mehr dazu auch in unserem Tipp der Woche zur KI-Kompetenz).

Seit August 2025 gelten zusätzliche Regeln für General-Purpose-AI-Modelle (GPAI) wie Large Language Models, inklusive Sanktionsmöglichkeiten. In Deutschland fehlt noch ein Durchführungsgesetz, doch die unmittelbare Anwendbarkeit der Verordnung erfordert proaktives Handeln.​

Grundlagen: Was sind künstliche Intelligenz und zugehörige Systeme/Modelle?

Künstliche Intelligenz beschreibt Maschinen oder Software, die Aufgaben übernehmen, die normalerweise menschliche Intelligenz erfordern – etwa Lernen aus Daten, Mustererkennung oder Vorhersagen. Die EU-KI-Verordnung (Art. 3 KI-VO) definiert ein KI-System als computerbasierte Technik, die aus Eingaben Ausgaben generiert, basierend auf maschinellem Lernen, Logik oder statistischen Verfahren. Dies umfasst neuronale Netze, Deep Learning oder generative Modelle.​

Die KI-Verordnung unterteilt KI-Systeme nach Risikostufen:

• Verbotene KI-Praktiken: Bestimmte KI-Einsatzfelder, wie etwa automatisiertes „Social Scoring" oder biometrische Echtzeit-Massenüberwachung, sind unzulässig
• Hochrisiko-KI-Systeme: Diese unterliegen umfassenden Compliance-Anforderungen
• KI-Systeme mit begrenztem/geringem Risiko: Die Regelkategorie im E-Commerce-Kontext
• Systeme mit minimalem oder keinem Risiko: Keine spezifischen Anforderungen

Ein KI-System mit allgemeinem Verwendungszweck wie ein LLM kann je nach Anwendungsfall in verschiedene Risikostufen fallen. Im E-Commerce wird es sich üblicherweise um ein System mit begrenztem bis geringem Risiko handeln.

Ein KI-Modell hingegen ist die trainierte Version eines KI-Systems, etwa ein Large Language Model (LLM) wie GPT-4, das Texte analysiert oder erzeugt. Im E-Commerce finden LLMs Anwendung bei Produktbeschreibungen, Kundenfragen oder personalisierten Angeboten. Die Verordnung stuft KI-Systeme nach Risiko ein: von minimal (z. B. Spam-Filter) über gering/begrenzt (meiste Shop-Tools) bis hochrisikant (z. B. Kreditscoring). GPAI-Modelle unterliegen seit August 2025 Transparenzpflichten wie Zusammenfassungen von Trainingsdaten und Risikobewertungen.​

Nicht jede KI verarbeitet personenbezogene Daten, doch bei E-Commerce-Anwendungen ist dies häufig der Fall: Kundenprofile, Bestelldaten oder Chat-Interaktionen fallen unter Art. 4 Nr. 1 DSGVO als personenbezogene Daten. Schon Prompts mit Namen oder Adressen lassen Datenschutzregeln Anwendung finden.​

Personenbezogene Daten und Datenschutz­grund­verordnung

Das Fundament des Datenschutzrechts bildet die Datenschutzgrundverordnung (DSGVO). Diese gilt uneingeschränkt, wenn bei KI-Systemen personenbezogene Daten verarbeitet werden.

Personenbezogene Daten sind nach Art. 4 Abs. 1 DSGVO alle Informationen über identifizierte oder identifizierbare natürliche Personen – etwa Namen, E-Mail-Adressen, IP-Adressen oder Kundennummern. Datenschutzrechtlich nicht relevant ist hingegen die Generierung von Code, Bildern ohne Personenbezug oder nicht personalisierten Marketingtexten.

Eine Relevanz der DSGVO ergibt sich insbesondere aus drei Szenarien:

1. Eingaben der Nutzer*innen (Prompts): Wenn Mitarbeitende beim Einsatz eines KI-Tools personenbezogene Daten eingeben, etwa kundenbezogene Informationen zur Recherche oder Texterstellung.
2. Eingaben von Kund*innen/Interessent*innen: Wenn Sie Dienste wie KI-Chatbots einsetzen, könnten Nutzer*innen personenbezogene Daten eingeben.
3. Trainingsdaten: Wenn der KI zur Verfügung stehende Datenpools personenbezogene Daten enthalten, etwa zur Feinabstimmung oder Weiterentwicklung des Systems.

Datenschutzrechtliche Heraus­forder­ungen im KI-Einsatz

Diese wurden in dem Tipp der Woche 7 datenschutzrechtliche Herausforderungen beim Einsatz von Künstlicher Intelligenz (KI) bereits thematisiert und sind in diesen Ausführungen nur kurz zusammengefasst. In dieser Woche wollen wir einen näheren Blick auf das erste DSK-Papier Orientierungshilfe zu empfohlenen technischen und organisatorischen Maßnahmen bei der Entwicklung und beim Betrieb von KI-Systemen werfen.

1. Rechtsgrundlage und Erlaubnisvorbehalt

Die DSGVO folgt dem Verbotsprinzip mit Erlaubnisvorbehalt: Jede Verarbeitung personenbezogener Daten ist grundsätzlich unzulässig, es sei denn, es liegt eine Rechtsgrundlage vor.

2. Zweckbindung und Datenminimierung

Der in Art. 5 Abs. 1 lit. b DSGVO verankerte Zweckbindungsgrundsatz ist ein fundamentales Datenschutzprinzip. Er bedeutet: Verantwortliche müssen im Vorfeld festlegen, zu welchem Zweck personenbezogene Daten verarbeitet werden.

3. Verantwortlichkeit und Auftragsverarbeitung

Nach Art. 4 Nr. 7 DSGVO ist Verantwortlicher diejenige natürliche oder juristische Person, die über Zwecke und Mittel der Datenverarbeitung entscheidet. Wichtig: Die KI selbst ist nie Verantwortliche – dies würde die mangelnde Rechtsfähigkeit ausschließen.

Häufig anzutreffende Konstellation: Ein Unternehmen nutzt ein externes KI-Tool eines Drittanbieters (z. B. einen Chatbot-Service). Der Tool-Anbieter handelt weisungsgebunden und verarbeitet Daten nur nach bestimmten Vorgaben. In diesem Fall liegt typischerweise ein Auftragsverarbeitungsverhältnis nach Art. 28 DSGVO vor.

4. Internationale Datenübermittlung

Viele KI-Dienste (bspw. OpenAI) sitzen in den USA. Datenübermittlungen in ein Drittland außerhalb des EWR erfordern einen Angemessenheitsbeschluss (für die USA ggf. das Data Privacy Framework) oder eine anderweite geeignete Garantie, wie bspw. die Standardvertragsklauseln. Verantwortliche sollten also die Serverstandorte und Zertifizierungen der Diensteanbieter überprüfen, insbesondere bei der dafür vorgesehen Seite des U.S. Departments of Commerce.

5. Automatisierte Entscheidungen

Art. 22 DSGVO enthält ein fundamentales Verbot: Entscheidungen mit Rechtswirkungen dürfen nicht automatisiert und ohne menschliche Beteiligung getroffen werden.

Dies gilt bspw. für automatische Kreditablehnung durch KI-gestützte Bonitätsprüfung, automatisierte Sperrung von Kundenaccounts oder auch KI-gestützte automatisierte Preissetzungen.

6. Datenschutz-Folgenabschätzung (DSFA)

Für bestimmte Verarbeitungen ist eine Datenschutzfolgenabschätzung zwingend erforderlich, etwa wenn KI zur Steuerung einer Interaktion mit der betroffenen Person eingesetzt wird oder bei automatisierter Bewertung persönlicher Aspekte (Profiling). Die DSFA ist dabei ein wichtiges Instrument zur proaktiven Risikoidentifikation. Sie sollte dokumentiert sein und kritische Risiken explizit adressieren – etwa Diskriminierungsrisiken (Bias), Datensicherheit oder unzureichende Transparenz.

7. Verzeichnis von Verarbeitungstätigkeiten (VVT)

Jede Verarbeitung personenbezogener Daten (auch mittels KI) ist im Verzeichnis von Verarbeitungstätigkeiten nach Art. 30 DSGVO zu dokumentieren. Dieses dient der Rechenschaft und ist Bestandteil der erforderlichen Dokumentation.

8. Transparenz

Viele moderne KI-Systeme, insbesondere tiefe neuronale Netze und LLMs, sind intransparent. Selbst die Entwickler können oft nicht nachvollziehen, warum die KI zu einem bestimmten Ergebnis gelangt ist (sog. „Black-Box-Problem“). Dies kollidiert direkt mit den Transparenzpflichten der DSGVO, bspw. mit der Informationserteilung aus Art. 13 DSGVO oder dem Auskunftsrecht aus Art. 15 DSGVO.

Orientierungshilfe für Entwicklung und Betrieb von KI-Systemen

Die Leitlinie der Datenschutzkonferenz (DSK) beschreibt, wie KI-Systeme über ihren gesamten Lebenszyklus so gestaltet werden sollen, dass alle Grundprinzipien der DSGVO gewahrt bleiben, und konkretisiert dafür technische und organisatorische Maßnahmen (TOMs). Beim Einsatz von KI sind insbesondere Rechtmäßigkeit, Transparenz, Risikoorientierung, Datenminimierung, Rechenschaftspflicht und ein wirksames Governance‑ und Monitoring‑Konzept datenschutzrechtlich zentral.​

Inhalt der DSK‑Leitlinie

Die Orientierungshilfe richtet sich primär an Herstellende und Entwickler*innen von KI-Systemen und strukturiert Anforderungen entlang des KI‑Lebenszyklus (Design, Entwicklung, Einführung, Betrieb/Monitoring). Sie übersetzt die DSGVO‑Grundsätze mit Hilfe des Standard-Datenschutzmodells (SDM) in konkrete TOMs, etwa zu Transparenz, Nachvollziehbarkeit, Integrität, Verfügbarkeit und Interventionsmöglichkeiten.​

Im Design und in der Entwicklung betont die Leitlinie u. a. Zweckbindung, frühzeitige Datenschutz‑Berücksichtigung („Privacy by Design“), sorgfältige Auswahl und Aufbereitung von Trainingsdaten sowie Dokumentation von Modellen, Datenquellen und Trainingsprozessen. In Einführung und Betrieb fordert sie u. a. klare Rollen und Verantwortlichkeiten, kontinuierliches Monitoring der Modellqualität und Risiken sowie regelmäßige Überprüfung und Anpassung der TOMs.​

Zentrale datenschutzrechtliche Pflichten

• Es müssen alle DSGVO‑Grundsätze eingehalten werden (Rechtmäßigkeit, Zweckbindung, Datenminimierung, Richtigkeit, Speicherbegrenzung, Integrität/Vertraulichkeit, Rechenschaftspflicht).​
• Verantwortliche brauchen eine tragfähige Rechtsgrundlage für alle Verarbeitungen im KI‑Kontext (inkl. Training, Testing, Betrieb) und müssen Betroffene transparent über Einsatz, Funktionsweise in Grundzügen und Folgen informieren.​
• Für risikoreiche KI‑Anwendungen (z. B. mit erheblichen Auswirkungen auf Personen) ist in der Regel eine Datenschutz‑Folgenabschätzung (DSFA) mit spezifischem Blick auf KI‑Risiken erforderlich.​

Wichtige technische und organisatorische Maßnahmen

• Datenverarbeitung risikoorientiert gestalten: KI‑Systeme klassifizieren, Risiken bewerten, geeignete Schutzmaßnahmen auswählen (z. B. Pseudonymisierung, Zugriffsbeschränkungen, Logging, Versionskontrolle, Robustheit gegen Manipulationen).​
• Datenminimierung und Qualität sicherstellen: nur erforderliche Merkmale verwenden, unnötige Personenbezüge entfernen oder entkoppeln, Daten in Trainings‑, Validierungs‑ und Testmengen sauber trennen.​
• Transparenz und Nachvollziehbarkeit technisch unterstützen, etwa durch Dokumentation von Modellversionen, Trainingsdaten‑Kategorien, Parametern, Evaluierungsergebnissen und durch erklärbare Ausgaben, soweit möglich.​

Umgang mit Betroffenenrechten und automatisierten Entscheidungen

Verantwortliche müssen sicherstellen, dass Betroffenenrechte (Auskunft, Berichtigung, Löschung, Widerspruch, Einschränkung) auch bei komplexen KI‑Systemen praktisch umgesetzt werden können. Dazu gehören Prozesse, mit denen KI‑Entscheidungen erklärt, überprüft und gegebenenfalls korrigiert werden können, einschließlich menschlicher Intervention bei weitreichenden automatisierten Entscheidungen.​

Für automatisierte Einzelentscheidungen mit erheblichen Auswirkungen (z. B. Scoring, Profiling) sind zusätzliche DSGVO‑Vorgaben zu beachten, etwa Transparenz über die Logik, Bedeutung und Tragweite der Verarbeitung sowie die Möglichkeit, eine menschliche Überprüfung zu verlangen. KI‑Systeme müssen folglich so gestaltet werden, dass ihre Ergebnisse anfechtbar sind und Eingriffe in den Entscheidungsprozess technisch-organisatorisch vorgesehen sind.

Unser Tipp

Künstliche Intelligenz birgt für E-Commerce-Unternehmen enorme Chancen – zur Effizienzsteigerung, Kundenservice-Verbesserung und Konkurrenzfähigkeit. Diese Chancen sind jedoch nur dann zu nutzen, wenn der KI-Einsatz rechtskonform erfolgt.

Das Datenschutzrecht ist dabei nicht der Feind der Innovation, sondern ein Gestaltungsrahmen, innerhalb dessen innovative Lösungen entwickelt und eingesetzt werden können. Durch frühzeitige rechtliche Begleitung, klare Dokumentation und eine bewusste Abwägung von Nutzen und Risiken können Unternehmen KI-Systeme sicher und vertrauenswürdig einsetzen.