AI Act ante portas

Weltweit erste Regulierung künstlicher Intelligenz steht in den Startlöchern

Nach monatelangen Verhandlungen wurde der AI Act am 13.3.2024 im EU-Parlament mit einer breiten Mehrheit angenommen. Der AI Act ist die erste Produktsicherheitsregulierung die auch die Berücksichtigung von grundrechtlichen Anforderungen vorsieht.

Bereits 2021 hatte die Europäische Kommission den Vorschlag über harmonisierte Vorschriften zur Künstlichen Intelligenz vorgelegt. Im Dezember 2023 wurde nach langen Trilogverhandlungen eine Einigung zwischen Parlament, Kommission und Rat über den AI Act erzielt.¹ Als letzter Schritt erfolgen noch abschließende Beratungen im EU-Ministerrat, das Gesetz könnte noch vor der Europawahl 2024 in Kraft treten.

Risikobasierter Ansatz und verbotene Systeme

Wie bereits die DSGVO beinhaltet auch der AI Act einen risikobasierten Ansatz, der KI-Systeme je nach Art und Einsatzgebiet in verschiedene Risikoklassen einteilt, an die wiederum unterschiedliche Verpflichtungen und Rechtsfolgen geknüpft sind. Es gilt der Grundsatz: Je höher das Gefahrenpotenzial eines Systems, desto strenger sind die Anforderungen an dessen Entwicklung und Einsatz.

Verpflichtungen aus dem AI Act können sich sowohl für Anbieter als auch für Betreiber von KI-Systemen ergeben. Hier ist zu erwähnen, dass die Abgrenzung, wann man Betreiber oder Anbieter ist, herausfordernd sein kann.

Generell verboten werden besonders gefährliche KI-Anwendungen, wie etwa KI-Systeme, die ein unannehmbares Risiko bergen. Dazu zählen etwa Praktiken des „Social Scorings“ oder auch KI-Systeme zur Emotionserkennung am Arbeitsplatz. Verboten sind zudem auch manipulative Techniken die zur unterschwelligen Beeinflussung zählen.

Hochrisiko-Systeme unterliegen strengen Anforderungen

Nicht verboten aber als Hochrisiko-Systeme eingestuft und daher mit bestimmten Verpflichtungen verbunden können etwa KI-Systeme in der kritischen Infrastruktur, in der Migrations- und Grenzkontrolle oder auch je nach Einsatzzweck KI-Systeme im Bereich der allgemeinen und beruflichen Bildung (zB Zugang zu Bildung), Beschäftigung und Personalmanagement (zB Recruiting-Systeme) sein. Dies allerdings nur, sofern diese Systeme auch ein erhebliches Risiko für die Gesundheit, Sicherheit oder die Grundrechte von Personen darstellen.

Anbieter von Hochrisiko-KI-Systemen müssen sicherstellen, dass ihre Hochrisiko-KI-Systeme die in im AI Act festgelegten Anforderungen erfüllen. Für Hochrisiko-KI-Systeme haben Anbieter etwa ein Risikomanagementsystem einzurichten. Es bestehen zudem insbesondere bestimmte Anforderungen an Daten und Daten-Governance, die technische Dokumentation, an Aufzeichnungs- bzw Protokollierungspflichten, an die Sicherstellung der erforderlichen Transparenz, die Erstellung erforderlichen Gebrauchsanweisungen, Menschlicher Aufsicht, Genauigkeit, Robustheit und Cybersicherheit der Systeme.

Auch der Pflichtenkatalog für die Betreiber (Nutzer) von Hochrisiko-KI-Systemen kann umfangreich ausfallen. So ist etwa der Einsatz von angemessenen technischen und organisatorischen Maßnahmen (TOMs) vorgesehen, damit KI-Systeme gemäß der Gebrauchsanweisung verwendet werden oder die menschliche Aufsicht durch kompetente/geschulte natürliche Personen. Auch bestehen umfangreiche Informationspflichten. Neben diesen Plichten, kann es für Betreiber unter Umständen verpflichtend sein, für manche Systeme eine Grundrechtsfolgenabschätzung vorzunehmen.

Transparenz-Pflichten außerhalb der Hochrisiko-Klasse für bestimmte KI-Systeme

Außerhalb des Hochrisiko-Bereichs müssen Anbieter sicherstellen, dass KI-Systeme, die für die direkte Interaktion mit natürlichen Personen bestimmt sind, so konzipiert und entwickelt werden, dass die betreffenden natürlichen Personen informiert werden, dass sie mit einem KI-System interagieren.

Anbieter die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen (das betrifft auch den Einsatz von KI-Systemen mit allgemeinem Verwendungszweck), müssen sicherstellen, dass die Ergebnisse des KI-Systems in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind.

Betreiber von Emotionserkennungssystemen müssen zudem betroffene natürlichen Personen über den Betrieb dieses Systems informieren. Auch wenn KI-Systeme Bilder, Videos, Audioinhalte oder Texte erstellen muss dies durch Betreiber grundsätzlich offengelegt werden. (Näheres dazu siehe unter „Was ist mit ChatGPT & Co.?“)

Systeme mit geringem Risiko und ausgenommene Systeme

Allen anderen KI-Systemen wird kein erhebliches Risiko attestiert, weshalb der AI Act keine besonderen Verpflichtungen für diese vorsieht. Es wird lediglich die freiwillige Ausarbeitung von Verhaltenskodizes empfohlen. Explizit vom Anwendungsbereich ausgenommen sind KI-Modelle oder -Systeme, die ausschließlich zum Zweck der wissenschaftlichen Forschung, für Verteidigungs- und Militärzwecke sowie im privaten Bereich von natürlichen Personen genutzt werden. Außerdem fallen Systeme nicht in den Anwendungsbereich, wenn sie nicht in der Europäischen Union entwickelt, eingesetzt oder genutzt werden.

Was ist mit ChatGPT & Co.? – Sonderfall GPAI Modelle und -Systeme

Im Zuge der Verhandlungen in den Gesetzestext mitaufgenommen wurden sogenannte „KI-Modelle mit allgemeinem Verwendungszweck“ („GPAI-Modelle“), wie etwa GPT-3.5 und GPT-4-Modelle, die dem System des Chatbots „ChatGPT“ von OpenAI zugrunde liegen.² Diese Modelle bilden im AI Act eine Sonderkategorie.

Neben den „normalen“ Pflichten gibt es für Betreiber von General Purpose KI (GPAI) keine zusätzlichen Pflichten. Die Regelungen beschränken sich allein auf zusätzliche Pflichten für Anbieter derartiger KI-Systeme (nicht für Betreiber). Hier ist darauf hinzuweisen, dass die grundsätzlichen Betreiberpflichten, insbesondere insb in Fällen von Hoch-Risiko-KI-Systemen, zu beachten sind.

Für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck bestehen bestimmte Dokumentationspflichten, für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und systemischen Risiken zusätzliche Pflichten, zu denen etwa die Durchführung einer Modellbewertung oder Angriffstests gehören können, um Systemrisiken zu ermitteln.

KI- Kompetenz als allgemeine Pflicht für alle Anwender:innen und Anbieter:innen

Anbieter:innen und Anwender:innen von KI-Systemen müssen generell Maßnahmen ergreifen, um ein hinreichendes Verständnis von KI-Systemen – eine KI-Kompetenz („AI literacy“) – auf Seiten des eigenen Personals und der anderen Personen sicherzustellen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind.

Was gilt es nun zu beachten?

Das Gesetz wird grundsätzlich 20 Tage nach Veröffentlichung im Amtsblatt der Europäischen Union in Kraft treten. Die Vorschriften sind dann überwiegend nach 2 Jahren nach dem Inkrafttreten anwendbar. Für GPAI-Modelle gilt eine Frist von 12 Monaten und verbotene Praktiken müssen bereits innerhalb von 6 Monaten eingestellt werden. Es ist somit absehbar, dass der AI Act die Tätigkeiten von unzähligen Unternehmen, Behörden, NPOs, etc. maßgeblich beeinflussen und eine fundamentale Umstellung mit sich bringen wird. Denn die Strafen bei Nichteinhaltung der Vorschriften können hoch ausfallen: So kann bei einer Verletzung verbotener Praktiken eine Geldbuße von bis zu €35 Mio. oder 7% des jährlich weltweiten Umsatzes und bei der Verletzung der Transparenzpflichten für Chatbots und generative KI eine Geldbuße von bis zu €15 Mio. oder 3% des jährlich weltweiten Umsatzes verhängt werden. Es wird daher jetzt schon dringend angeraten, sich mit diesem Rechtsinstrument eingehend zu beschäftigen, um die Einhaltung der darin enthaltenen Vorschriften rechtzeitig sicherzustellen. Wichtig wird es dabei, insbesondere in den ersten Schritten folgende Fragen zu klären:

•    Wird KI im Sinne des AI Acts eingesetzt?
•    Welche Rolle nimmt die eigene Organisation dabei ein? (hier ist insbesondere zwischen Anbietern und Nutzern zu unterscheiden)
•    Welcher Risikoklasse unterliegt die Anwendung?
•    Sicherstellung der erforderlichen KI-Kompetenz in der Organisation

¹  Der aktuelle Text kann hier auf Deutsch nachgelesen werden.
²  Eine genaue Erklärung zur Abgrenzung von GPAI-Modellen und Systemen finden Sie hier auf Englisch.

4. März 2024

Dr. Heidi Scheichenbauer

ist als Senior Consultant und Senior Researcher im Research Institute – Digital Human Rights Center tätig. Sie ist Mitglied im Verein der behördlichen und betrieblichen Datenschutzbeauftragten (Privacyofficers.at), Vortragende an der Donau Universität Krems und der Universität Wien und Autorin zahlreicher Publikationen betreffend die Bereiche Digitalisierungsrecht.

Literatur zum Thema