Die Pflicht zur KI-Kompetenz – wer, was, wie, warum?

Eine neue Verordnung der Europäischen Union kommt selten ohne neue Herausforderungen für Shopbetreibende einher. Auch im Falle der KI-Verordnung werden sich viele die Frage stellen müssen, ob sie bei dem Einsatz KI-gestützter Dienste eine KI-Kompetenz nachweisen müssen und falls ja, welche Inhalte denn thematisiert werden sollten. Diesen Fragen gehen wir im folgenden Tipp der Woche auf den Grund.

Grundlegendes der KI-Verordnung zur KI-Kompetenz

Die KI-Verordnung wurde im Juli 2024 von der Europäischen Union veröffentlicht und findet zeitlich gestaffelt Anwendung. Bereits seit Februar 2025 gelten die ersten Pflichten aus der KI-Verordnung, nämlich das Verbot bestimmter Praktiken gem. Art. 5 KI-VO und die heute thematisierte Verpflichtung, die KI-Kompetenz in Unternehmen sicherzustellen, Art. 4 KI-VO.

Zu der Notwendigkeit einer KI-Kompetenz äußert die Verordnung folgendes:

„Die Anbieter und Betreiber von KI‑Systemen ergreifen Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI‑Systemen befasst sind, über ein ausreichendes Maß an KI‑Kompetenz verfügen […].“

Rollen der KI-Verordnung

Adressaten sind also Anbieter und Betreiber von KI-Systemen. Die KI-Verordnung definiert die Rolle des Anbieters als eine Person oder Stelle, die ein KI-System bzw. ein KI-Modell entwickelt oder entwickeln lässt, oder es unter eigenem Namen in Verkehr bringt. Diese Klassifizierung wird für viele Shopbetreibende nicht einschlägig sein. Was aber häufiger der Fall sein kann und wird, ist die Qualifizierung als Betreiber. Dies sind Personen oder Stellen, die KI-Systeme in eigener Verantwortung beruflich verwenden.

Finden also KI-Tools in einem Unternehmen Anwendung, kann das Unternehmen als solches – nicht einzelne Mitarbeiter – als Betreiber eingestuft werden. Die Unternehmensleitung hat dann die Pflicht, mit KI-Produkten arbeitende Mitarbeitende in der KI-Kompetenz zu schulen.

Die Frage des „Wer?“ können wir also mit einem „Shopbetreibende, die KI-Tools nutzen“ beantworten und die Frage des „Warum?“ mit der Pflicht aus der KI-Verordnung. Allerdings scheint es auch ohne Pflicht aus der Verordnung sinnvoll, Mitarbeitende in der KI-Nutzung zu schulen, um den Umgang mit entstehenden Chancen und Risiken des großen Feldes der künstlichen Intelligenz nachvollziehen und begegnen zu können.

KI-Systeme und Modelle

Während die gesetzliche Definition eines KI-Systems oder KI-Modells etwas sperrig daherkommt, kann man es im Fall von Online-Shops in der Rolle eines Betreibers häufig auf automatisiert und autonom arbeitende Computersysteme reduzieren, die eigenständig aus einer Eingabe ein Ausgabeergebnis erzeugen. Dies kann bspw. durch den Einsatz eines KI-gestützten Chatbots oder auch der Verwendung von sogenannten Large Language Models (LLM) wie dem Modell GPT-4 (ChatGPT) von OpenAI zu Recherchezwecken geschehen.

Die Inhalte der KI-Kompetenz

Unter der KI-Kompetenz versteht der Gesetzgeber vor allem die Fähigkeit von Anbietern, Betreibern und Betroffenen KI-Systeme sachkundig einzusetzen und ein Bewusstsein über die resultierenden Chancen und Risiken und die möglichen Schäden vorweisen zu können. Inhaltlich orientiert sich die notwendige Sachkunde im besten Fall an den im Unternehmen tatsächlich genutzten KI-Tools und vorliegenden Rollen.

Während einige Inhalte pauschal für viele Anwender von KI-Systemen gelten, erscheint es für viele Online-Shops sinnig, sich auf die Betreiber-Rolle im Hinblick auf KI-Systeme mit begrenztem/geringem Risiko zu fokussieren, worunter im Regelfall auch die Nutzung von Large Language Models fällt.

Als ein beliebtes Mittel hat sich eine externe Mitarbeitenden-Schulung herauskristallisiert, bei der notwendige Grundsätze und Inhalte für eine fundierte Entscheidung über KI-Systeme vermittelt werden. Weitere sinnvolle Konzepte können auch Lernsoftwares, bei denen Mitarbeitende die Inhalte in einer Online-Plattform durchklicken, oder Einzeltrainings betroffener Mitarbeitenden sein.

1. Technische Funktion und Aufbau einer KI

Konkret erscheint es zielführend, erst einmal auf die technische algorithmische Funktion von künstlicher Intelligenz und KI-Systemen bzw. -Modellen einzugehen. KI-Modelle können je nach Intelligenzgrad als „stark“ oder „schwach“ angesehen werden oder durch den Technologieansatz in verschieden Arten, wie KI mit maschinellem Lernen oder KI basierend auf Deep Learning, eingeteilt werden.

2. Gesetzliche Grundlagen

Aber auch die gesetzlichen Grundlagen sollten nicht außen vor bleiben, zumindest das Unternehmen als Betreiber sollte die Kernregelungen kennen. Das zentrale Gesetz bildet die KI-Verordnung der Europäischen Union. Hier finden sich eigene Definitionen zu einem KI-System, einem KI-Modell mit allgemeinem Verwendungszweck oder auch den oben genannten Rollen des Betreibers oder Anbieters.

Die KI-Verordnung teilt KI-Systeme in vier Risikokategorien ein: Verbotene KI-Praktiken, Hochrisiko-KI-Systeme, KI-Systeme mit begrenztem/geringem Risiko und solche mit minimalen bzw. keinem Verwendungsrisiko. Ein KI-System mit allgemeinem Verwendungszweck, wie die oben genannten meist genutzten LLM, kann, je nach Anwendungsfall, in verschiedene Risikostufen fallen. Der Regelfall der im E-Commerce eingesetzten KI-Anwendung wird ein System mit begrenztem bzw. geringem Risiko sein.

Die Kernpflichten für Betreiber bestehen einerseits in der bereits ausgeführten Sicherstellung der KI-Kompetenz und andererseits in der Schaffung von Transparenz. Insbesondere bei möglichen Deepfakes ist dafür Sorge zu tragen, dass Konsument*innen im Klaren darüber sind, dass es sich um einen KI-generierten Inhalt handelt.

Aber auch andere Regelungen können bei dem Einsatz von KI-Systemen einschlägig werden. Werden personenbezogene Daten verarbeitet, findet unter anderem die Datenschutzgrundverordnung Anwendung. Ob innerhalb der Trainingsdaten, den Ausgabeergebnissen oder der Interaktion mit Tools wie einem Chatbot – eine solche Verarbeitung personenbezogener Daten ist nicht selten. Damit gehen diverse Pflichten für Verantwortliche einher, wie bspw. die Einhaltung von Datenschutzgrundsätzen, dem Einholen einer Rechtsgrundlage oder dem Abschluss von bestimmten Verträgen mit dem Anbieter.

Mehr Informationen zu den datenschutzrechtlichen Herausforderungen bei der Nutzung von KI enthält auch der Tipp der Woche „7 datenschutzrechtliche Herausforderungen beim Einsatz von Künstlicher Intelligenz“.

Neben dem Datenschutzrecht kommen auch urheberrechtliche Berührungspunkte in Betracht. Hierüber liefert der Tipp der Woche „KI im Online-Handel: Risiko oder Chance?“ weitere Informationen.

3. Ethische Fragestellungen

Da man den Weg von einer Eingabe bis zum Ausgabeergebnis kaum nachvollziehen kann, spricht man häufig von dem „Black-Box Problem“. Eine transparente Darstellung, warum bestimmte Ergebnisse so erzeugt wurden, scheidet somit aus.

Zudem können Trainingsdaten bestimmte Vorurteile oder Stereotypen beinhalten, die Ergebnisse in einer nicht objektiven Art und Weise beeinflussen. Solche Diskriminierungen, auch als Bias bezeichnet, lassen sich sehr deutlich bei regierungsnahen KI-Systemen wie DeepSeek finden, sind aber – wenn auch weniger deutlich – in allen bekannten Systemen vorhanden.

4. Chancen und Risiken

Wichtig zu erwähnen ist, dass auch die EU erkennt, dass mit der Nutzung von KI vielfältige Chancen einhergehen. So sagt das EU-Parlament bspw.: "Künstliche Intelligenz hat das Potenzial, unser Leben grundlegend zu verändern". Diverse Bereiche, wie Förderung der Demokratie, Wettbewerbsvorteile, Arbeitserleichterungen im Alltag oder auch die medizinische Diagnostik können zukünftig erheblich profitieren.

Nichtsdestotrotz gehen mit der Nutzung von KI auch Gefahren einher. Künstliche Profile auf Social Media, KI-generierte Fake-Videos auf Youtube oder Deepfake-Attacken auf Unternehmen. All das sind Risiken, denen man einerseits mit einer zu lernenden Medienkompetenz aber auch mit der hier beschriebenen KI-Kompetenz begegnen muss.

Unser Tipp

Falls KI-Tools im Online-Shop Anwendung finden, sollten Mitarbeitende geschult werden und die notwendigen Kompetenzen vermittelt bekommen. Ausgabeergebnisse sollten auf ihre Richtigkeit überprüft werden, sofern eine KI zu Recherchezwecken genutzt wurde.

Unternehmen sollten interne Richtlinien erschaffen, die den Umgang mit KI-Systemen regeln – bspw. über die Eingabe von Betriebsgeheimnissen oder betriebsrelevanten Kennzahlen.

Insgesamt sollte ein Bewusstsein für die Chancen und Risiken bei Nutzung der KI-Systeme vorhanden sein. Für Shopbetreibende bietet es sich an, den Mitarbeitenden die Angst vor der KI-Nutzung durch klare Regularien zu nehmen, um Wettbewerbsvorteile erkennen und wahrnehmen zu können.