Hochrisiko KI-Systeme

Gastkommentar der Juristen Julia Allen und Andreas Schütz zum Thema, wie man das Risiko von Hochrisiko-KI-Systemen klassifiziert. [...]

Wer will schon, dass eine Maschine darüber entscheidet, ob man eine Förderung, einen Kredit, einen Job oder eine Wohnung bekommt? Derartige Entscheidungen sollten nicht von einer künstlichen Intelligenz (KI) getroffen werden, die Diskriminierungsmuster wie ethnische Herkunft, sexuelle Orientierung, Alter, eine Behinderung etc. einbezieht.

Wie bereits bekannt ist, teilt die geplante KI-Verordnung KI-Systeme in vier Risikoklassen ein. Die Zulässigkeit von Hochrisiko-KI-Systemen (HKS) hängt dabei von der Erfüllung bestimmter Auflagen ab, die gleichermaßen für Anbieter und Nutzer, wie auch für Händler und Einführenden von KI gelten. Dieser Umstand führt zu Spannungen zwischen dem Ausbau bzw. der Einschränkung des internationalen Handels und der Prävention von (negativen) Auswirkungen auf die Gesundheit, Sicherheit und Grundrechte von Menschen.

Die Einstufung als HKS ist von der Funktion des Systems, dessen Zweck sowie dessen Anwendungsmodalitäten abhängig. Die Unterteilung erfolgt in KI-Systeme, die (i) als sicherheits- und gesundheitsgefährdendes Produkt oder Sicherheitskomponente eines Produkts unter eine EU-Vorschrift des Anhangs II fallen (z.B. Spielzeuge, Flugzeuge, medizinische Geräte, Aufzüge) oder (ii) im Anhang III der KI-Verordnung genannt sind. Darunter fallen zum Beispiel folgende Systeme: Biometrische Identifizierung und Kategorisierung von Personen; Verwaltung und Betrieb kritischer Infrastrukturen (z.B. Straßenverkehr); Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit (z.B. das Filtern von Bewerbungen, Leistungsüberwachung und -bewertung); Zugang und Inanspruchnahme grundlegender privater und öffentlicher Dienste und Leistungen (z.B. Unterstützungsleistungen, Kreditwürdigkeit, Priorisierung von Einsätzen bei Not- und Rettungsdiensten); Strafverfolgung (z.B. Risikobewertung zur Prävention von Straftaten, Lügendetektoren, Profiling); Migration, Asyl, Grenzkontrolle, Rechtspflege und demokratische Prozesse.

Bei allen HKS ist die Gewährleistung von Vertrauenswürdigkeit, Transparenz, entsprechender Datenqualität sowie die Möglichkeit der menschlichen Beaufsichtigung und Kontrolle wesentlich. Weiters muss gewährleistet sein, dass ein Risikomanagementsystem eingerichtet wird und eine technische Dokumentation inklusive automatischer Protokollierung von Vorgängen und Ereignissen im HKS erfolgt. Auch ist ein angemessenes Maß an Robustheit, Sicherheit und Genauigkeit einzuhalten. All diese Faktoren sollen über den gesamten Lebenszyklus der HKS gewahrt bleiben und sind zu Überprüfungszwecken in einer Datenbank zu registrieren. Obwohl die KI-Verordnung derzeit nur ein Vorschlag ist, ist es ratsam, die Kriterien bei Berührung mit KI bereits jetzt zu berücksichtigen.

*Die Autoren Mag. Julia Allen und Mag. Andreas Schütz sind Juristen der Kanzlei Taylor-Wessing.