Themenbild Services der RTR

Risikostufen von KI-Systemen

KI-Systeme und die vier Risikostufen

Der AI Act verfolgt einen risikobasierten Ansatz, um ein verhältnismäßiges, wirksames und verbindliches Regelwerk für KI-Systeme einzuführen. KI-Systeme werden entsprechend ihrem Risikopotential nach inakzeptablem, hohem, geringem und minimalem Risiko kategorisiert. Risiko definiert der AI Act als „die Kombination aus der Wahrscheinlichkeit des Auftretens eines Schadens und der Schwere dieses Eintritts“ (Art. 3) und bewertet insb mögliche Schäden an individuellen und/oder öffentlichen Interessen (Gesundheit, Sicherheit, Grundrechte, einschließlich Demokratie, der Rechtsstaatlichkeit und des Umweltschutzes). Schäden können materieller oder immaterieller Natur sein. Erfasst sind physische, psychische, gesellschaftliche oder wirtschaftliche Schäden.

Eine Sonderstellung nehmen in dieser Kategorisierung die KI-Modelle mit allgemeinem Verwendungszweck (General Purpose AI Models) ein. 

Die Infografik fasst den Fließtext zusammen und beschreibt die vier Risikostufen von KI-Systemen
KI-Systeme werden entsprechend ihrem Risikopotential nach inakzeptablem, hohem, begrenztem und minimalem/keinem Risiko kategorisiert © RTR (CC BY 4.0)

Praktiken mit inakzeptablem Risiko

Manche Praktiken in Zusammenhang mit KI-Systeme bergen ein zu hohes Risiko im Hinblick auf die Wahrscheinlichkeit eines Schadenseintritts und auch des Schadensausmaßes an individuellen oder öffentlichen Interessen, weshalb sie verboten sind.

Dazu zählen gemäß Artikel 5 AI Act:

  • KI-Systeme, die das menschliche Verhalten manipulieren, um den freien Willen des Menschen zu umgehen;
  • KI-Systeme, die eingesetzt werden, um die Schwächen von Menschen (aufgrund ihres Alters, einer Behinderung, ihrer sozialen oder wirtschaftlichen Lage) auszunutzen;
  • KI-Systeme, die auf der Grundlage von Sozialverhalten oder persönlichen Merkmalen von natürlichen Bewertungen vornehmen, die zu einer Schlechterstellung führen können (Social Scoring);
  • Risikobewertungssysteme, die auf der Grundlage von Profiling das Risiko bewerten oder vorhersagen, ob eine natürliche Person eine Straftat begeht (Predictive Policing; zu Deutsch „vorhersagende Polizeiarbeit“);
  • Ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder aus Überwachungsaufnahmen zur Erstellung von Gesichtserkennungsdatenbanken;
  • Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen (ausgenommen sind KI-Systeme zu medizinischen [z. B. therapeutischen Nutzung] oder sicherheitstechnischen Zwecken);
  • Biometrische Kategorisierungssysteme um Rückschlüsse auf sensible Informationen (z. B. politische, religiöse oder philosophische Überzeugungen, sexuelle Orientierung, Rasse) zu ziehen oder zu bestimmen;
  • Verwendung von biometrischen Echtzeit-Fernerkennungssystemen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken (mit einigen Ausnahmen wie z. B. bestimmten Opfern oder vermissten Kindern, Täter bestimmter Straftaten etc.). 

Hochrisiko-KI-Systeme

Hochrisiko-KI-Systeme stellen – wie bereits der Name sagt – ein hohes Risiko dar im Hinblick auf die Wahrscheinlichkeit eines Schadenseintritts und auch des Schadensausmaßes an individuellen oder öffentlichen Interessen. Hochrisiko-KI-Systeme gemäß Artikel 6 AI Act sind allerdings nicht per se verboten. Das Inverkehrbringen oder die Inbetriebnahme ist nur unter Einhaltung bestimmter Anforderungen erlaubt. Derartige KI-Systeme sind unter anderem im Anhang I und III des AI Act aufgelistet:

Anhang I – Das KI-System soll als Sicherheitskomponente eines unter den unten angeführten EU-Vorschriften fallenden Produkts verwendet werden oder ist selbst ein unter diese Vorschriften fallendes Produkt.

Abschnitt A – Liste der Harmonisierungsrechtsvorschriften der Union auf der Grundlage des neuen Rechtsrahmens:

Abschnitt B – Liste anderer Harmonisierungsrechtsvorschriften der Union;

Zusätzlich gelten auch noch die in Anhang III abschließend genannten KI-Systeme als hochriskant im Sinne des AIA:

  • Biometrik, soweit ihr Einsatznach dem einschlägigen Unionsrecht oder dem nationalen Recht zugelassen ist;
  • Sicherheitsbauteile in kritischer Infrastruktur;
  • Bestimmte Systeme im Rahmen von beruflicher Aus- und Weiterbildung, insbesondere wenn diese über den Zugang zu dieser entscheiden können;
  • Bestimmte Systeme in Zusammenhang mit Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit, insbesondere wenn diese für Entscheidungen eingesetzt werden;
  • Zugänglichkeit und Inanspruchnahme grundregelnder privater und öffentlicher Dienste und Leistungen;
  • Bestimmte Systeme, die zur Strafverfolgung verwendet werden;
  • Bestimmte Systeme zur Migrations-, Asyl- und Grenzkontrolle;
  • Bestimmte Systeme innerhalb der Justiz und der demokratischen Prozesse.

Kritische Infrastruktur und Sicherheitsbauteile (Anl. III Z 2 AIA)

Infografik zur Kritischen Infrastruktur im AI Act
Die Beziehung zwischen AI Act und Critical Entities Resiliance Directive, dargestellt als Venn-Diagramm. © RTR (CC BY 4.0)

In kritischer Infrastruktur eingesetzte KI-Systeme können nach Art. 6 Abs. 2 iVm Anhang III Z 2 AIA Hochrisiko-KI-Systeme sein. Konkret ist ein KI-System als Hochrisiko-KI-System einzustufen, wenn es im Bereich der kritischen Infrastruktur als Sicherheitsbauteil verwendet wird:

  • im Rahmen der Verwaltung und des Betriebs
  • kritischer digitaler Infrastruktur, 
  • des Straßenverkehrs oder
  • der Wasser-, Gas-, Wärme- oder Stromversorgung

Für die Beurteilung stellt sich die Frage, was konkret "kritische Infrastruktur" und was ein "Sicherheitsbauteil" ist.

Grundsätzlich gehört die kritische Infrastruktur zu einer kritischen Einrichtung. In der Definition in Art. 3 Z. 62 AIA wird bzgl. des Begriffes "kritische Infrastruktur" auf Art. 2 Z. 4 der Richtlinie (EU) 2022/2557 ("Richtlinie über die Resilienz kritischer Infrastruktur", "critical entities resilience directive", "CER") verwiesen. Laut Art. 2 Z. 1, 4 und 5 CER muss diese "kritische Einrichtung", also eine öffentliche oder private Einrichtung, vom jeweiligen Mitgliedstaat als solche eingestuft werden.

Zur dazugehörigen konkreten „kritischen Infrastruktur“ zählen demnach:

  • Objekte, Anlagen, Ausrüstung, Netze oder Systeme oder
  • Teile eines Objekts, einer Anlage, Ausrüstung,
  •  eines Netzes oder eines Systems,

 die für die Erbringung eines wesentlichen Dienstes erforderlich ist. Ein Dienst ist wesentlich, wenn er von entscheidender Bedeutung ist

  • für die Aufrechterhaltung wichtiger gesellschaftlicher Funktionen,
  • wichtiger wirtschaftlicher Tätigkeiten,
  • der öffentlichen Gesundheit und Sicherheit oder
  •  der Erhaltung der Umwelt.

In Art. 2 der aufgrund der CER ergangenen Delegierten Verordnung 2023/2450 der Europäischen Kommission, ist eine nicht erschöpfende Liste von wesentlichen Diensten genannt.

Der Begriff des "Sicherheitsbauteil" wird in Art. 3 Z 14 AIA folgendermaßen definiert:

ein[…] Bestandteil eines Produkts oder KI-Systems, der eine Sicherheitsfunktion für dieses Produkt oder KI-System erfüllt oder dessen Ausfall oder Störung die Gesundheit und Sicherheit von Personen oder Eigentum gefährdet

 Speziell zu Kritischer Infrastruktur wird der Gesetzgeber in ErwG 55 AIA etwas deutlicher:

(55) […] Sicherheitsbauteile kritischer Infrastruktur, einschließlich kritischer digitaler Infrastruktur, sind Systeme, die verwendet werden, um die physische Integrität kritischer Infrastruktur oder die Gesundheit und Sicherheit von Personen und Eigentum zu schützen, die aber nicht notwendig sind, damit das System funktioniert. Ausfälle oder Störungen solcher Komponenten können direkt zu Risiken für die physische Integrität kritischer Infrastruktur und somit zu Risiken für die Gesundheit und Sicherheit von Personen und Eigentum führen. Komponenten, die für die ausschließliche Verwendung zu Zwecken der Cybersicherheit vorgesehen sind, sollten nicht als Sicherheitsbauteile gelten. Zu Beispielen von Sicherheitsbauteilen solcher kritischen Infrastruktur zählen etwa Systeme für die Überwachung des Wasserdrucks oder Feuermelder-Kontrollsysteme in Cloud-Computing-Zentren.

Ob eine Ausnahme davon iSd einer der Ausnahmegründen des Art. 6 Abs. 3 AIA vorliegt, wird auf die Ausgestaltung im konkreten Einzelfall ankommen.

KI-Systeme mit "begrenztem" Risiko

Als KI-Systeme mit "begrenztem" Risiko werden KI-Systeme bezeichnet, deren Risiko durch Transparenz minimiert werden kann. Derartige KI-Systeme sind nicht verboten. Den Anbieter:innen und Betreiber:innen werden überwiegend Transparenzpflichten auferlegt, etwa dass Personen darüber informiert werden, dass sie mit einem KI-System interagieren oder Inhalte künstlich erzeugt wurden. Unter KI-Systeme mit "begrenztem" Risiko fallen gemäß Artikel 50 AI Act folgende Systeme:

  • KI-Systeme, welche mit natürlichen Personen direkt interagieren (z. B. Chatbots);
  • KI-Systeme, die Bild-, Audio-, Text- oder Videoinhalte erzeugen oder manipulieren (z. B. Deepfakes – davon zu unterscheiden sind Deepfakes zur Manipulation menschlichen Verhaltens, welche verboten sind!);
  • Biometrische Kategorisierungs- und Emotionserkennungssysteme (davon zu unterscheiden sind KI-Systeme, welche verboten sind!).

KI-Systeme mit "minimalem" oder keinem Risiko

Alle sonstigen KI-Systeme werden als solche mit "minimalem" oder keinem Risiko klassifiziert. Darunter fallen z. B. Videospiele oder Spam-Filter. Sie unterliegen keinen spezifischen Pflichten im Sinne des AI Act. Das Einhalten von Verhaltenskodizes (Code of Practices) wird gefördert, sie sind aber freiwillig (Erwägungsgründe 165 iVm. Artikel 95 AI Act).