Vorab: Unsere beiden Cybersecurity Consultants haben sich die Verordnung (EU) 2024/1689 (kurz AI Act) [1] etwas genauer angeschaut, denn wir betrachten die europäische Gesetzgebung durch die Brille der Produktkonformität.
Nach ersten Sichtungen der Verordnung (EU) 2024/1689 (kurz AI Act) erwarten wir wenig Einschränkungen durch den AI Act für das generelle Tagesgeschehen. Sei es die Nutzung von KI-Systemen in der industriellen Fertigung oder KI für den Endverbraucher.
Aber warum denken wir das und wen betrifft der AI Act dann überhaupt?
Und warum können wir den Februar 2025 kaum noch erwarten?
Doch zuvor eine Übersicht darüber, was der AI Act regelt: Die Einstufung von KI-Systemen
Mit dem AI Act versucht die EU, das Vertrauen in KI-Systeme zu stärken und gleichzeitig die Grundrechte der EU-Bürger zu wahren. Daher fokussiert sich die Gesetzgebung auf die Anwendung von KI-Systemen beim Menschen selbst und verfolgt damit einen risikobasierten Ansatz. Je riskanter die Nutzung eines KI-Systems in einem Einsatzbereich ist, desto strenger wird sie vom AI Act geregelt.
Zu hohes Risiko
Jedoch gibt es auch Einsatzgebiete, die aus Sicht der EU zu riskant sind und somit verboten werden müssen. Dies sind die sogenannten verbotenen Praktiken, welche in Artikel 5 aufgezählt werden. Sie bilden die Spitze der Risikopyramide.
Verboten ist unter Umständen die Nutzung von KI-Systemen für die Emotionserkennung, social scoring, ungezielte Gesichtserkennung, biometrische Kategorisierung oder die unterschwellige Beeinflussung oder Manipulation von menschlichen Entscheidungsprozessen.
Hohes Risiko
Auf der nächsten Stufe der Risikopyramide folgen KI-Systeme, die als hochriskant eingestuft werden. Ein Großteil des Gesetzestextes regelt die Anforderungen an diese Hochrisiko-KI-Systeme. Eine Liste aller Hochrisiko-KI-Systeme findet sich in Anhang III.
Allerdings kann ein KI-System als hochriskant eingestuft werden, auch wenn es nicht in Anhang III gelistet ist. Nämlich genau dann, wenn die Kriterien aus Artikel 6 erfüllt werden.
Wird z.B. ein KI-System in einem Produkt verwendet, das in eine Liste ausgewählter Harmonisierungsvorschriften fällt, so kann es sein, dass auch dieses als Hochrisiko-KI-System eingestuft werden muss. Einige dieser Harmonisierungsvorschriften sind z.B. die Funkanlagenrichtlinie (2014/53/EU) und die Maschinenrichtlinie (2006/42/EG). Daraus folgt, dass Maschinen wie auch Funkanlagen, welche KI-Systeme integrieren, unter Umständen Hochrisiko-KI-Systeme sind. Doch wie genau ein solches Produkt zu bewerten ist, ist eine der Fragen, die wir uns bzgl. des AI Acts stellen und die hoffentlich durch die im Februar 2025 veröffentlichten Praxisleitfäden beantwortet werden.
Denn eine dieser Voraussetzungen für eine hochriskante Einstufung ist, dass das Produkt einer Konformitätsbewertung durch Dritte unterliegen muss. Außerdem muss das KI-System eine sicherheitsrelevante Aufgabe in dem Produkt erfüllen, also ein sogenanntes “Sicherheitsbauteil” sein. Allerdings bleibt unklar, ab welchem Punkt ein Bauteil als Sicherheitsbauteil gilt.
Daher erscheint uns die Einstufung als Hochrisiko-KI-System als eine nicht triviale Herausforderung. Ohne die Praxisleitfäden sehen wir uns bisher nicht im Stande solche Fälle akkurat einschätzen zu können.
Betrachten wir ein KI-System im Bereich Qualitätssicherung, im Besonderen die vorausschauende Wartung von Maschinen. [2] Hier ist unklar, ob ein solches KI-System als hochriskant eingestuft werden muss, da seine Störung oder sein Ausfall Schäden am Eigentum (der Firma) hervorrufen kann. Auch kann argumentiert werden, dass es sich um ein Sicherheitsbauteil handelt, doch unterliegt das Produkt selbst möglicherweise keiner Konformitätsbewertung durch Dritte. Eine abschließende Einschätzung ist daher mit dem jetzigen Kenntnisstand nicht möglich.
Des Weiteren müssen Hochrisiko-KI-Systeme in einer EU-Datenbank vor dem Inverkehrbringen registriert werden und sind als einziges KI-System CE-kennzeichnungspflichtig.
Transparenzrisiko
Neben den Hochrisiko-KI-Systemen werden auch Transparenzanforderungen an “bestimmte KI-Systeme" formuliert.
Bei Einsatz jedwedem KI-Systems, das mit natürlichen Personen interagiert, müssen diese unweigerlich darüber informiert werden, dass sie es mit einem KI-System zu tun haben, darunter fallen z.B. Chat-Bots. Die Transparenzvorschriften finden sich in Artikel 50. Zudem werden sogenannte KI-Modelle mit allgemeinem Verwendungszweck bzw. General Purpose AI Modelle (GPAI-Modelle) betrachtet. Dabei wird zwischen GPAI-Modellen mit systemischem Risiko und ohne unterschieden. Die Einstufung derselbigen wird in Artikel 51 geregelt.
Das Inverkehrbringen eines GPAI-Models muss der Kommission innerhalb von 2 Wochen nach Erfüllung der Kriterien aus Artikel 51 gemeldet werden.
Außerdem wird der Begriff des Deepfakes definiert und auch festgelegt, dass von KI-Systemen generierte Bild-, Ton-, Video- oder Textinhalte in einem maschinenlesbaren Format gekennzeichnet werden müssen. Die Nutzung von KI-Systemen unterliegt jedoch keiner besonderen Kennzeichnungspflicht, es sei denn diese werden benutzt, um Texte von öffentlichem Interesse zu produzieren.
Das Urheberrecht bleibt vom AI Act unangetastet und wird nur insofern erweitert, als dass laut Artikel 53 Anbieter von GPAIs eine Strategie zur Einhaltung des Urheberrechts erstellen müssen.
Kein oder minimales Risiko
Die meisten genutzten KI-Systeme werden jedoch in die Kategorie KI-Systeme mit geringem Risiko fallen und somit nur Artikel 4 unterliegen. Dieser fordert eine grundlegende KI-Kompetenz des Personals bei Einsatz von KI-Systemen.
Damit schränkt der AI Act die Anwendung von KI-Systemen nicht stark ein, sondern versucht, das Innovationspotenzial dieser Technologie so wenig wie möglich zu beschneiden. Dies zeigt sich auch in Kapitel VI, welches Maßnahmen zur Innovationsförderung beinhaltet. Dadurch sind Anbieter von KI-Modellen mit freier und quelloffener (open-source) Lizenz nur insofern betroffen, als dass auch sie keine verbotenen Praktiken mit ihren KI-Systemen umsetzen dürfen.
Somit stellen sich für uns die folgenden Fragen:
- Sind die grundlegenden Anforderungen an Sicherheit, Gesundheit und EMV der Funkanlagenrichtlinie (2014/53/EU) von der Einstufung betroffen? Was passiert, wenn keine zwingende “Konformitätsbewertung durch Dritte” vorgeschrieben ist, auch wenn keine harmonisierten Normen mit Listung im Amtsblatt vorhanden sind?
- Mit Blick auf die Maschinenrichtlinie (2006/42/EG) fragen wir uns, welche Bauteile als Sicherheitsbauteile im Sinne des AI Acts anzunehmen sind. Welche der verwendeten Bauteile gefährden bei Ausfall oder Störung die Gesundheit und Sicherheit von Personen oder Eigentum? Und werden diese durch diesen Umstand als hochriskant eingestuft, obwohl sie keiner Konformität durch Dritte unterzogen werden müssen?
- Bleiben wir bei der Maschinenrichtlinie (2006/42/EG). Mit Blick auf die “Konformitätsbewertung durch Dritte” kommt uns direkt der “Anhang IV” der Maschinenrichtlinie in den Sinn: “Kategorien von Maschinen, für die eines der Verfahren nach Artikel 12 Absätze 3 und 4 anzuwenden ist”. Ist der AI Act dann nur für Produkte wie Sägen und Hebebühnen anzuwenden?
Für weitere Details stehen wir Ihnen gern zur Verfügung.
Autoren
Anne Barsuhn
Junior Consultant Cybersecurity
Benjamin Kerger (B. Eng.)
Product Compliance Consultant
BEGRIFFE UND ABKÜRZUNGEN
KI-Systeme sind Software- und Hardwarelösungen, die Künstliche Intelligenz verwenden, um in der physischen oder digitalen Welt zu handeln.
Die appliedAI Institute for Europe gGmbH wird unterstützt durch die KI-Stiftung Heilbronn gGmbH.
