7 datenschutzrechtliche Herausforderungen beim Einsatz von Künstlicher Intelligenz (KI)

In einer Ära, in der Online-Händler*innen in einem Wettlauf um Kundenzufriedenheit und Wettbewerbsfähigkeit stehen, ist der Einsatz von künstlicher Intelligenz (KI) für viele ein vermeintliches Wundermittel geworden. Von personalisierten Empfehlungen bis hin zur Betrugserkennung verspricht KI, das Einkaufserlebnis zu verbessern und die Effizienz zu steigern. Doch während diese Technologie den Horizont des E-Commerce erweitert, werden datenschutzrechtliche Herausforderungen zu einem zentralen Thema für alle, die online Geschäfte betreiben.

In einer Gesellschaft, die von der Sammlung und Analyse riesiger Datenmengen geprägt ist, steht der Online-Handel vor der komplexen Aufgabe, die Balance zwischen Innovation und Datenschutz zu wahren. Die Folgen einer unzureichenden Auseinandersetzung mit diesen Fragen können nicht nur rechtliche Konsequenzen haben, sondern auch das Vertrauen der Kundschaft erschüttern und langfristige Schäden für das Unternehmen verursachen.

In diesem Rechtstipp möchten wir Sie daher auf sieben datenschutzrechtliche Herausforderungen im Zusammenhang mit dem Einsatz von KI aufmerksam machen und Tipps zu einer rechtskonformen Nutzung geben. 

Doch zuallererst: Was ist KI aus rechtlicher Sicht überhaupt?  

Eine einheitliche, rechtlich verbindliche Definition des Begriffes „Künstliche Intelligenz“ (KI) gibt es faktisch bislang (noch) nicht. Es kursieren daher entsprechend viele Definitionsansätze. Die Europäische Union ist allerdings bereits seit 2021 an den Vorbereitungen für den weltweit ersten Gesetzestext zum Thema KI. Dieser soll - jedenfalls für den europäischen Binnenmarkt - Klarheit schaffen und selbstverständlich eine sodann verbindliche Definition enthalten. Ziel des neuen Gesetzes ist eine vertrauenswürdige, sichere, transparente, nachvollziehbare und nicht diskriminierende Nutzung von künstlicher Intelligenz. 

Wie bereits bei der Datenschutzgrundverordnung hofft man auch beim neuen KI-Gesetz der EU auf den sog. „Brüssel-Effekt“. Dieser Effekt beschreibt die sukzessive Adaption und Annäherung an die Standards des europäischen Vorreiters auch außerhalb der Union. 

Die Vorbereitungen sind übrigens bereits sehr weit fortgeschritten. Das Europäische Parlament hat den Gesetzestext bereits beschlossen. Nunmehr fehlen noch einige formale Schritte und ggf. kleinere Wortlautanpassungen bis zum finalen Inkrafttreten. Die nach Inkrafttreten rechtsverbindliche Definition von KI-Systemen wird sich voraussichtlich in Art. 3 Ziff. 1 KI-Gesetz befinden. Auf die Wiedergabe der derzeitigen Definition verzichten wir an dieser Stelle bewusst, da sich diese selbst in erst kürzlich veröffentlichten offiziellen Dokumenten der Union vom 13.3.2024 und 17.04.2024 nochmals verändert hat.  

Nach derzeitigem Wissensstand basieren typische KI-Systeme seit 2023 vor allem auf sog. Large Language Modellen (LLM). Diese werden häufig als Chatbots angeboten, können aber auch als Grundlage für zahlreiche andere Anwendungen dienen. Auch im E-Commerce nimmt der Einsatz von KI zu Zwecken der (Teil-)Automatisierung zu. Sie findet dabei vor allem bei der Personalisierung von digitalen Werbekampagnen und Nachrichten Anklang, wird aber auch gerne bei der Beantwortung von Kundenbewertungen (wie mithilfe unseres Smart Review Assistants) und Contentgenerierung eingesetzt.  Was in der EU künftig unter dem Begriff „KI“ verstanden werden muss, wird jedoch erst die finale Fassung des KI-Gesetzes abschließend klären können. 

Datenschutzrechtliche Herausforderungen 

Ganz gleich wie die Definition letztlich lauten wird, ist doch ganz klar, dass bei der Verarbeitung von personenbezogenen Daten durch KI auch die Regelungen der DSGVO eingehalten werden müssen.  

Unter „personenbezogenen Daten“ sind gem. Art. 4 Ziff. 1 DSGVO alle Informationen zu verstehen, die sich auf eine identifizierte oder identifizierbare natürliche Person beziehen. Hierzu zählen bspw. Namen und (E-Mail)Adressen. Nicht von der DSGVO erfasst ist regelmäßig die Generierung von Code, Bildern (ohne Personenbezug) sowie (nicht personalisierten) Marketingtexten. 

Eine datenschutzrechtliche Relevanz kann sich aus den Eingaben der Nutzer*innen (sog. Prompts), aber auch aus dem einer KI zur Verfügung gestellten und bspw. zu Trainingszwecken genutzten Datenpools ergeben.  

Wie aktuell und komplex das Thema Datenschutz und KI ist, zeigt überdies auch die brandneue Orientierungshilfe der Datenschutzkonferenz (DSK) zu diesem Thema. Wir haben Ihnen hier eine Auswahl von sieben besonders relevanten datenschutzrechtlichen Herausforderungen im Umgang mit KI zusammengestellt: 

Herausforderung Nr. 1: Kein Verbot der KI-Nutzung 

Das neue KI-Gesetz wird aller Voraussicht nach bestimmte Verarbeitungen personenbezogener Daten aufgrund unannehmbarer Risiken als verbotene Einsatzfelder der KI-Nutzung definieren. So werden z.B. „Social Scorings“ und biometrische Echtzeitüberwachungen öffentlicher Räume entweder per se verboten oder nur unter sehr strengen Ausnahmen zulässig sein. Die verbotenen Einsatzfelder werden nach derzeitigem Bearbeitungsstand übrigens bereits sechs Monate nach Inkrafttreten des Gesetzes gelten. Geplante KI-Systeme sollten daher bereits jetzt darauf untersucht werden, ob sie ggf. einem der verbotenen Anwendungsbereiche zugeordnet werden können.  

Herausforderung Nr. 2: Zweckbindung 

Klar, mit KI scheinen die Möglichkeiten der Datenverarbeitung grenzenlos zu sein. Doch Vorsicht, werden personenbezogene Daten verarbeitet, gilt auch beim Einsatz von KI der Zweckbindungsgrundsatz der DSGVO. Dieser Grundsatz ist in Art. 5 DSGVO normiert. Hiernach muss der/die Verantwortliche im Vorfeld festlegen, zu welchem Zweck die erhobenen personenbezogenen Daten verarbeitet werden sollen. Nur aufgrund konkreter vorab festgelegter Zwecke kann nämlich überprüft werden, ob die Verarbeitung zur Zweckerreichung tatsächlich erforderlich ist. Machen Sie sich daher im Vorfeld hinreichend Gedanken, wozu die personenbezogenen Daten wirklich verarbeitet werden sollen. Hierüber müssen Sie die Betroffenen vorab auch entsprechend informieren (vgl. Sie hierzu auch nochmals Herausforderung Nr. 7: Transparenz). Unkonkrete Formulierungen genügen nicht und sind daher zu vermeiden. Den Betroffenen muss in jedem Falle ermöglicht werden, die geplante Datenverarbeitung richtig einzuschätzen und zu kontrollieren. 

Ein weiteres Risiko im Zusammenhang mit der Zweckbindung kann im Zusammenhang mit offen gestalteten KI-Systemen auftreten. Diese basieren häufig auf Cloud-Lösungen und sind über das Internet für einen unbestimmten Anwenderkreis verfügbar. Einige KI-Systeme greifen bei ihrer Arbeit auf Eingabedaten von anderen Anwender*innen zurück, um diese für das Training der KI zu nutzen. Unter Umständen können dabei eingegebene personenbezogene Daten zu anderen Zwecken verarbeitet werden oder auch unbefugten Dritten zugänglich werden. Dies ist jedoch unter allen Umständen zu vermeiden. KI-Systeme, die diese Gefahren nicht hinreichend ausräumen können, sollten nicht verwendet werden. 

Herausforderung Nr. 3: Erfordernis einer Rechtsgrundlage zur Datenverarbeitung 

Die DSGVO sieht für die Verarbeitung von personenbezogenen Daten ein sog. Verbotsprinzip mit Erlaubnisvorbehalt vor. Danach ist die Verarbeitung personenbezogener Daten grundsätzlich verboten. Sie kann aber durch das Vorliegen einer Rechtsgrundlage gem. Art. 6 Abs. 1 lit. a – f bzw. Art. 9 DSGVO legitimiert werden.  

Konkret bedeutet dies, dass die Verarbeitung personenbezogener Daten auch mittels KI auf einer datenschutzrechtlichen Rechtsgrundlage beruhen muss. In Betracht kommen im KI-Kontext neben der Einholung einer freiwilligen und jederzeit widerruflichen Einwilligung der betroffenen Person (Art. 6 Abs. 1 lit. a) ggf. die Verwendung im Rahmen einer Vertragserfüllung (Art. 6 Abs. 1 lit. b) oder unter gewissen Umständen auch die Verarbeitung aufgrund überwiegender berechtigter Interessen (Art. 6 Abs. 1 lit. f). Eine Interessensabwägung sollte dabei stets dokumentiert erfolgen und hat die Interessen der betroffenen Person in angemessenem Maße zu berücksichtigen.  

Exkurs zur Einwilligung: Die Einwilligung ist durchaus ein zweischneidiges Schwert. Der/Die Betroffene ist grundsätzlich privatautonom und kann daher frei entscheiden, für welche Zwecke er/sie in eine Datenverarbeitung einwilligen möchte. Die Einwilligung ist daher einerseits eine der sichersten Grundlagen für die Datenverarbeitung. Dazu muss jedoch eine wirksame Einwilligung erteilt werden. Dies muss unter anderem unmissverständlich und in informierter Weise erfolgen. Einer Informiertheit kann aber insbesondere die Komplexität der KI entgegenstehen. Andererseits ist die Einwilligung jederzeit widerruflich, was zur Folge hat, dass eine Datenverarbeitung für die Zukunft zu unterlassen ist. Soweit es sich bei den personenbezogenen Daten auch um Trainingsdaten handelt, kann dies gravierende Auswirkungen auf das gesamte System haben.  

Herausforderung Nr. 4: Verantwortlichkeit 

Die Frage nach der Verantwortlichkeit für die Datenverarbeitung ist in der Praxis ebenfalls von Bedeutung. Aus ihr ergibt sich insbesondere, wer Adressat der vielfältigen Pflichten der DSGVO ist. Verantwortliche*r i.S.d. DSGVO ist die natürliche oder juristische Person, Behörde, Einrichtung oder andere Stelle, die allein oder gemeinsam mit anderen über die Zwecke und Mittel der Verarbeitung von personenbezogenen Daten entscheidet (Art. 4 Ziff. 7 DSGVO). 

Pauschale Aussagen, wer für welchen Vorgang als datenschutzrechtlich Verantwortlicher gilt, sind in der Regel nicht möglich, vielmehr muss eine Prüfung des Einzelfalls erfolgen. Anzumerken ist jedoch, dass jedenfalls die KI unabhängig ihrer Komplexität und Fortentwicklung mangels Rechtspersönlichkeit nicht in diese Rolle schlüpfen kann.  

Es kommen die folgenden Konstellationen in Betracht: 

• Alleinige Verantwortung 
• Gemeinsame Verantwortung von Tool-Anbieter*in und Anwender*in 
• Auftragsverarbeitungsverhältnis zw. Tool-Anbieter*in und Anwender*in (Hauptmerkmal: Weisungsgebundenheit) 

Sofern ein/e externe/r Tool-Anbieter*in beteiligt ist, diese/r jedoch nicht für eigene Zwecke agiert, sondern weisungsgebunden handelt, liegt in der Regel ein Auftragsverarbeitungsverhältnis i.S.d. Art. 28 DSGVO vor. Im Rahmen eines solchen ist daher unbedingt ein Auftragsverarbeitungsvertrag zu schließen. 

Herausforderung Nr. 5: Datenübermittlung ins Ausland 

Bevor Sie sich für den Einsatz eines KI-Tools entscheiden, ist es allerdings nicht nur wichtig, die Verantwortlichkeiten zu koordinieren und ggf. erforderliche Verträge zu schließen. Auch der Unternehmenssitz bzw. Serverstandort und die damit verbundenen Konsequenzen wie z.B. eine potentielle Datenübermittlung in ein Drittland (mit oder ohne angemessenes Datenschutzniveau) stellen einen datenschutzrechtlich zu berücksichtigenden Faktor dar. Viele KI-Anbieter*innen haben einen Sitz und/oder Serverstandorte in den USA. Daher muss in diesem Falle außerdem geprüft werden, ob aufgrund einer Selbstzertifizierung nach dem Data Privacy Framework der Angemessenheitsbeschluss für die USA tatsächlich auch bei dem/der jeweiligen Anbieter*in greift. 

Herausforderung Nr. 6: Keine automatisierte Letztentscheidung 

KI ist aufgrund von Personalmangel und Zeitdruck für viele mit dem Wunsch verbunden, künftig alles zu automatisieren. Dabei werden durch Art. 22 Abs. 1 DSGVO jedoch eine Menge Steine in den Weg gelegt, die sich zu einer ernstzunehmenden Hürde entwickeln. Entscheidungen mit Rechtswirkungen dürfen nach der dortigen Normierung grundsätzlich nur von einem Menschen getroffen werden. Soweit die KI Vorschläge erarbeitet, die für die Betroffenen Rechtswirkungen entfalten, muss einer natürlichen Person ein tatsächlicher Entscheidungsspielraum zukommen. Eine rein formelle Beteiligung eines Menschen im Entscheidungsprozess genügt dabei nicht. Ausnahmen vom Verbot der automatisierten Letztentscheidung bestehen etwa bei Vorliegen einer entsprechenden Einwilligung der betroffenen Person. Es ist beim Einsatz von KI-Systemen daher darauf zu achten, dass sie entweder keine automatisierte Letztentscheidung im Sinne des Art. 22 DSGVO trifft oder eine der Ausnahmen zum Tragen kommt. 

Herausforderung Nr. 7: Transparenz 

Insbesondere stellen auch die Transparenzpflichten der DSGVO die Verantwortlichen vor weitere Herausforderungen. Die betroffenen Personen sind über die Datenverarbeitung zu informieren. Dies kann z.B. im Rahmen der Datenschutzerklärung erfolgen. Dabei kann es erforderlich sein, auch auf die im Rahmen einer automatisierten Entscheidungsfindung involvierte Logik einzugehen.  

Beim Einsatz von KI können sich außerdem Situationen ergeben, bei denen selbst der/die Entwickler*in die konkreten Verarbeitungsvorgänge nicht (mehr) vollends nachvollziehen kann. Dieser Effekt wird häufig als sog. Blackbox-Problem betitelt. Dies konkurriert jedoch mit den datenschutzrechtlichen Transparenzpflichten, was einen datenschutzkonformen Einsatz der KI erschweren kann. Auch eine Beantwortung von Auskunftsersuchen betroffener Personen stößt dort an ihre Grenzen. 

Ein weiterer Aspekt, bei dem die Transparenz und Nachvollziehbarkeit von KI-Systemen die Verantwortlichen vor Herausforderungen stellt, ist die Datenschutzfolgenabschätzung gem. Art. 35 DSGVO. In bestimmten Fällen ist eine solche verpflichtend durchzuführen, so bspw. bei einer Verarbeitung unter Einsatz von künstlicher Intelligenz zur Steuerung einer Interaktion mit der betroffenen Person oder zur Bewertung persönlicher Aspekte (Ziffer 11 der Blacklist der DSK). 

Erfolgt durch den Einsatz von KI eine Verarbeitung personenbezogener Daten, so sind diese Verarbeitungsvorgänge im Verzeichnis von Verarbeitungstätigkeiten (Art. 30 DSGVO) zu ergänzen. 

Unser Tipp 

Die Auswahl unserer 7 Herausforderungen ist nicht abschließend. Eins ist aber klar, soweit KI in Verbindung mit der Verarbeitung von personenbezogenen Daten steht, muss die DSGVO beachtet werden. 

Übrigens: KI bedeutet jedoch nicht automatisch, dass immer personenbezogene Daten verarbeitet werden müssen! Werden bei der Entwicklung eines neuen KI-Systems bereits frühzeitig rechtliche Erwägungen und Experten einbezogen, können KI-Systeme entstehen, die von Beginn an eine Verarbeitung personenbezogener Daten minimieren oder gar ausschließen (sog. „Privacy by Design“). Informieren Sie sich daher unbedingt vor dem geplanten Einsatz von KI-Systemen, welche Kategorien von Daten tatsächlich verarbeitet werden und bestimmen Sie anhand dessen, welche Rechtsgrundlagen Sie im Einzelfall beachten müssen. Bei unserem Smart Review Assistant wurde beispielsweise darauf geachtet, dass möglichst keine personenbezogenen Daten verarbeitet werden. Darüber hinaus werden aber dennoch sämtliche entsprechende Maßnahmen, wie der Abschluss von Auftragsverarbeitungsverträgen, ergriffen, um zusätzlich auch die DSGVO-Standards zu erfüllen.