Welche Verpflichtungen treffen Betreiber?
Genauso wie Anbieter, sind auch die Betreiber von KI-Systemen verpflichtet, bei der Verwendung jeder Art von KI-Systemen sicherzustellen, dass eingesetztes Personal und andere Personen, welche mit den KI-Systemen betraut sind ein ausreichendes Maß an KI-Kompetenz aufweisen (Art. 4 iVm. Art. 3 Ziffer 56 AIA).
Hochrisiko-KI-Systeme
Die Pflichten der Betreiber von Hochrisiko-KI-Systemen werden in Art. 26 AIA geregelt. Folgende Verpflichtungen sind dabei einzuhalten:
- Verwendung des Hochrisiko-KI-Systems laut Betriebsanleitung
Anbieter haben gemäß Art. 13 Abs. 2 AIA eine Betriebsanleitung bereitzustellen und den Betreibern zur Verfügung zu stellen. Betreiber von Hochrisiko-KI-Systemen haben die erforderlichen technischen und organisatorischen Maßnahmen zu treffen, um sicherzustellen, dass Hochrisiko-KI-Systemen entsprechend der beigefügten Betriebsanleitung verwendet wird (siehe Art. 26 Abs. 1 AIA).
Sofern die Betreiber die Kontrolle über Eingabedaten haben, müssen diese der Zweckbestimmung des Hochrisiko-KI-Systems entsprechen und müssen ausreichend repräsentativ sein (siehe Art. 26 Abs. 4 AIA).
Davon bleiben sonstige Pflichten des Betreibers nach dem Unionsrecht oder nationalem Recht unberührt (siehe Art. 26 Abs. 3 AIA).
- Menschliche Aufsicht
Für die grundsätzliche Implementierung menschlicher Überwachungstools sind die Anbieter zuständig (siehe Art. 16 Buchstabe a iVm Art. 14 AIA), die Betreiber sind in der Folge verpflichtet, natürlichen Personen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, die menschliche Aufsicht zu übertragen (siehe Art. 26 Abs. 2 AIA). Betreiber sind auch verpflichtet, diesen natürlichen Personen die erforderliche Unterstützung zukommen zu lassen.
Davon bleiben sonstige Pflichten des Betreibers nach dem Unionsrecht oder nationalem Recht unberührt (siehe Art. 26 Abs. 3).
- Überwachung des KI-Systems
Gemäß Art. 26 Abs. 5 UAbs. 1 AIA haben die Betreiber den Betrieb des eingesetzten Hochrisiko-KI-Systems anhand der beigefügten Betriebsanleitung zu überwachen und informieren ggf. Anbieter gemäß Art. 72 AIA („Beobachtung nach dem Inverkehrbringen“).
Für Betreiber, die Finanzinstitute sind und den einschlägigen Rechtsvorschriften über Finanzdienstleistungen unterliegen, gelten die Anforderungen über Regelungen, Verfahren oder Mechanismen der internen Unternehmensführung (siehe Art. 26 Abs. 5 Uabs. 2 AIA).
- Meldung von schwerwiegenden Vorfällen
Gibt es Grund zur Annahme, dass das Hochrisiko-KI-System ein Risiko im Sinne des Art. 79 AIA birgt, oder wurde ein schwerwiegender Vorfall festgestellt, treffen den Betreiber Berichtspflichten gegenüber dem Anbieter, Einführer/Händler sowie die zuständigen Marktüberwachungsbehörden (siehe Art. 26 Abs. 5 UAbs. 1 AIA).
Wenn Grund zur Annahme besteht, dass ein Hochrisiko-KI-System ein Risiko im Sinne des Art. 79 Abs. 1 birgt, ist von der Verwendung abzusehen.
- Aufbewahrung von erzeugten Protokollen
Betreiber haben die automatisch erzeugten Protokolle von Hochrisiko-KI-Systeme für mindestens 6 Monate (ausgenommen das geltende Unionsrecht wie z.B. die DSGVO bestimmen etwas anderes) aufzubewahren, sofern diese unter ihrer Kontrolle liegen (siehe Art. 26 Abs. 6 UAbs. 1 AIA).
Betreiber, die Finanzinstitute sind und den einschlägigen Rechtsvorschriften über Finanzdienstleistungen unterliegen, haben die Protokolle als Teil dieser Anforderungen aufzubewahren (siehe Art. 26 Abs. 6 UAbs. 2 AIA).
- Sofern relevant, Datenschutz-Folgenabschätzung gemäß Art. 35 DSGVO
Betreiber von Hochrisiko-KI-Systemen verwenden ggf. die gemäß Art. 13 AIA von den Anbietern bereitgestellten Informationen („Betriebsanleitungen“), um ihrer Pflicht zur Durchführung einer Datenschutz-Folgenabschätzung gemäß Art. 35 der DSGVO oder Artikel 27 der Richtlinie (EU) 2016/680 nachzukommen (siehe Art. 26 Abs. 9).
- Zusammenarbeit mit zuständigen nationalen Behörden
Gemäß Art. 26 Abs. 12 AIA arbeiten die Betreiber mit den zuständigen Behörden bei allen Maßnahmen zusammen, die diese im Zusammenhang mit dem Hochrisiko-KI-System zur Umsetzung des AIA ergreifen.
- Transparenz gegenüber nachgelagerten Akteuren
Beim Einsatz von Hochrisiko-KI-Systemen gemäß Anhang III sind natürliche Personen gemäß Art. 26 Abs. 11 AIA, die von einer Entscheidung betroffen sind oder bei solchen Entscheidungen, wo das besagte KI-System Unterstützung leistet, über die Verwendung des Hochrisiko-KI-Systems zu informieren. Im Rahmen der Strafverfolgung gilt Art. 13 Richtlinie 2016/680. Das betrifft etwa KI-Systeme, die bei der Zulassung zu Bildungseinrichtungen oder der Filterung von Bewerber:innen bei Stellenanzeigen eingesetzt werden.
Diese Pflichten gelten unbeschadet der Transparenzpflichten gemäß Art. 50 AIA.
- Recht auf Erläuterung der Entscheidungsfindung im Einzelfall
Gemäß Art. 86 AIA haben Personen, die von einer Entscheidung betroffen sind, die der Betreiber auf der Grundlage der Ausgaben eines in Anhang III aufgeführten Hochrisiko-KI-Systems (ausgenommen Nummer 2: Kritische Infrastruktur) getroffen hat und die rechtliche Auswirkungen hat oder sie in ähnlicher Art erheblich auf eine Weise beeinträchtigt, die ihrer Ansicht nach ihre Gesundheit, ihre Sicherheit oder ihre Grundrechte beeinträchtigt, haben das Recht, vom Betreiber eine klare und aussagekräftige Erläuterung zur Rolle des KI-Systems im Entscheidungsprozess und zu den wichtigsten Elementen der getroffenen Entscheidung zu erhalten.
Folgende Pflichten treffen nur bestimmte Betreiber beim Einsatz spezifischer Hochrisiko-KI-Systeme:
- Sofern Arbeitgeber, der Hochrisiko-KI-Systeme am Arbeitsplatz einsetzt: Informationspflichten gegenüber der Arbeiternehmervertretung
Arbeitgeber informieren neben den betroffenen Arbeitnehmer:innen auch die Arbeitnehmervertretung vor Inbetriebnahme oder Verwendung eines Hochrisiko-KI-Systems am Arbeitsplatz über den geplanten Einsatz eines solchen KI-Systems (siehe Art. 26 Abs. 7). Gemäß Anhang III Ziffer 4 Buchstabe a und b AIA zählen hierunter KI-Systeme die bestimmungsgemäß für die Einstellung oder Auswahl natürlicher Personen verwendet werden sollen, insbesondere um gezielte Stellenanzeigen zu schalten, Bewerbungen zu sichten oder zu filtern und Bewerber zu bewerten sowie KI-Systeme, die bestimmungsgemäß für Entscheidungen, die die Bedingungen von Arbeitsverhältnissen, Beförderungen und Kündigungen von Arbeitsvertragsverhältnissen beeinflussen, für die Zuweisung von Aufgaben aufgrund des individuellen Verhaltens oder persönlicher Merkmale oder Eigenschaften oder für die Beobachtung und Bewertung der Leistung und des Verhaltens von Personen in solchen Beschäftigungsverhältnissen verwendet werden soll.
- Sofern EU-Organe, EU-Einrichtungen und sonstige EU-Stellen Betreiber sind: Registrierungspflicht
EU-Organe, -Einrichtungen und sonstige Stellen der Union, welche Betreiber von Hochrisiko-KI-Systemen sind, müssen das verwendete KI-System gemäß Art. 49 AIA registrieren (siehe Art. 26 Abs. 8 AIA). Sofern das zur Verwendung geplante Hochrisiko-KI-System nicht in der in Art. 71 genannten EU-Datenbank registriert ist, sehen sie von der Verwendung ab und informieren auch den Anbieter oder Händler hierüber.
- Sofern Einsatz zur nachträglichen biometrischen Fernidentifizierung: Genehmigungspflicht einer Justiz- oder Verwaltungsbehörde
Setzen Betreiber (also Strafverfolgungsbehörden) Hochrisiko-KI-Systeme zur nachträglichen biometrischen Fernidentifizierung im Rahmen von Ermittlungen zur gezielten Suche einer Person, die der Begehung einer Straftat verdächtigt wird oder aufgrund einer solchen verurteilt wurde, haben diese gemäß Art. 26 Abs. 10 AIA eine Genehmigung vorab oder unverzüglich, spätestens binnen 48 Stunden bei einer Justiz- oder Verwaltungsbehörde einzuholen, die einer justiziellen Überprüfung unterliegt. Wird die beantragte Genehmigung abgelehnt, ist die Verwendung des besagten Hochrisiko-KI-Systems mit sofortiger Wirkung einzustellen und etwaige personenbezogene Daten, die im Zusammenhang mit der Verwendung dieses Systems stehen, sind zu löschen. Jede Verwendung solcher Hochrisiko-KI-Systeme ist in der einschlägigen Polizeiakte zu dokumentieren und der zuständigen Marktüberwachungsbehörde und der nationalen Datenschutzbehörde (ausgenommen sensible operative Daten) auf Anfrage zur Verfügung zu stellen. Den genannten Behörden sind auch Jahresberichte vorzulegen.
Der Einsatz von solchen KI-Systemen in nicht zielgerichteter Weise und ohne jeglichen Zusammenhang mit einer Straftat oder der Suche nach einer bestimmten vermissten Person sind untersagt.
Ausgenommen davon ist die erstmalige Identifizierung eines potenziellen Verdächtigen auf der Grundlage objektiver und nachprüfbarer Tatsachen, die in unmittelbarem Zusammenhang mit der Straftat stehen.
Den Mitgliedstaaten bleibt es unbenommen, strengere Rechtsvorschriften für die Verwendung von KI-Systemen zur nachträglichen biometrischen Fernidentifizierung zu erlassen.
Unberührt bleibt von diesem Artikel die Anwendung der Richtlinie (EU) 2016/680.
- Sofern öffentliche und private Einrichtungen, welche öffentliche Dienste erbringen/teilweise private Institutionen: Erstellung einer Grundrechte-Folgenabschätzung
Gemäß Art. 27 AIA haben Einrichtungen des öffentlichen Rechts und private Einrichtungen, welche öffentliche Dienste erbringen, beim Einsatz (gilt für die erste Verwendung) eines Hochrisiko-KI-Systems gemäß Art. 6 Abs. 2 iVm. Annex III (ausgenommen Ziffer 2: Kritische Infrastruktur) und Betreiber von Hochrisiko-KI-Systemen beim Einsatz von Hochrisiko-KI-Systemen gemäß Anhang III Nummer 5 Buchstaben b (Kreditwürdigkeitsprüfung und Bonitätsbewertung natürlicher Personen) und c (Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Lebens- und Krankenversicherungen) eine Grundrechte-Folgenabschätzung vorzunehmen.
Folgende Aspekte sind dabei zu berücksichtigen:
- eine Beschreibung der Verfahren des Betreibers, bei denen das Hochrisiko-KI-System im Einklang mit seiner Zweckbestimmung verwendet wird;
- eine Beschreibung des Zeitraums und der Häufigkeit, innerhalb dessen bzw. mit der jedes Hochrisiko-KI-System verwendet werden soll;
- die Kategorien der natürlichen Personen und Personengruppen, die von seiner Verwendung im spezifischen Kontext betroffen sein könnten;
- die spezifischen Schadensrisiken, die sich auf die gemäß Buchstabe c dieses Absatzes ermittelten Kategorien natürlicher Personen oder Personengruppen auswirken könnten, unter Berücksichtigung der vom Anbieter gemäß Artikel 13 bereitgestellten Informationen;
- eine Beschreibung der Umsetzung von Maßnahmen der menschlichen Aufsicht entsprechend den Betriebsanleitungen;
- die Maßnahmen, die im Falle des Eintretens dieser Risiken zu ergreifen sind, einschließlich der Regelungen für die interne Unternehmensführung und Beschwerdemechanismen.
Sofern diese Pflichten bereits mit der Datenschutz-Folgenabschätzung gemäß Art. 35 DSGVO oder Art. 27 der Richtlinie (EU) 2016/680 abgedeckt sind, so ergänzt die Grundrechte- die Datenschutz-Folgenabschätzung im Sinne des AIA.
KI-Systeme mit „begrenztem“ Risiko
In Art 50 AIA werden bestimmte KI-Systeme aufgelistet, welche ein begrenztes Risiko bergen, da das Risiko mittels bestimmter Transparenzpflichten minimiert werden kann. Die Betreiber treffen bei folgenden KI-Systemen folgende Transparenzpflichten:
- Emotionserkennungssysteme oder KI-Systeme zur biometrischen Kategorisierung
Unberührt von anderen Transparenzpflichten, welche aus dem Unionsrecht oder dem nationalen Recht resultieren, sind betroffene Personen über den Betrieb eines Emotionserkennungssystems oder eines KI-Systems zur biometrischen Kategorisierung zu informieren (siehe Art. 50 Abs. 3 AIA). Personenbezogene Daten dürfen nur im Einklang mit den Datenschutzbestimmungen verarbeitet werden. Ausgenommen sind zugelassene KI-Systeme, zur Aufdeckung, Verhütung und Ermittlung von Straftaten, sofern geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen.
Die Information ist spätestens zum Zeitpunkt der ersten Interaktion oder Aussetzung in klarer und eindeutiger Weise bereitzustellen und müssen den geltenden Barrierefreiheitsanforderungen entsprechen (siehe Art. 50 Abs. 5 AIA).
- KI-Systeme, die Text-, Bild-, Ton- oder Videoinhalte erzeugen oder manipulieren
Unberührt von anderen unionsrechtlichen oder nationalen Transparenzpflichten, müssen Betreiber eines KI-Systems, das Text-, Bild-, Ton- oder Videoinhalte erzeugt oder manipuliert, die ein Deep-Fake sind, gemäß Art. 50 Abs. 4 AIA offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden. Ausgenommen ist die Verwendung zur Aufdeckung, Verhütung, Ermittlung und Verfolgung von Straftaten.
Ein „Deep Fake“ im Sinne des AI Acts ist ein durch ein KI erzeugter oder manipulierter Bild-, Ton- oder Videoinhalt, der wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt und einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde (siehe Art. 3 Ziffer 60 AIA).
Ist offensichtlich, dass der künstlich erzeugte oder manipulierte Bild-, Ton- oder Videoinhalt Teil eines künstlerischen, kreativen, satirischen, fiktionalen oder analogen Werks oder Programms ist, beschränkt sich die Transparenzpflicht darauf, das Vorhandensein von künstlich erzeugten und manipulierten Inhalten derart offenzulegen, dass die Darstellung oder der Genuss des Werkes nicht beeinträchtigt wird.
Bei erzeugten und manipulierten Texten gelten die Transparenzpflichten nicht, wenn dieser Text von einem Menschen überprüft wurde und es einen redaktionellen Verantwortlichen gibt.
Die Information ist spätestens zum Zeitpunkt der ersten Interaktion oder Aussetzung in klarer und eindeutiger Weise bereitzustellen und müssen den geltenden Barrierefreiheitsanforderungen entsprechen (siehe Art. 50 Abs. 5 AIA).
KI-Systeme mit „minimalem Risiko“
Bei KI-Systemen mit „minimalem“ Risiko werden keine verpflichtend einzuhaltenden Anforderungen gestellt. Die Einhaltung von Code of Practices wird gefördert, aber ist freiwillig.