Verbotene KI-Systeme

KI kann sowohl im privaten als auch im beruflichen Alltag ein wertvolles Asset sein. [...]

Andererseits besteht die Möglichkeit, dass hilfreiche technische Innovationen von Personen, Unternehmen oder sogar Regierungen missbraucht werden. So hilfreich KI-Systeme sind, können sie gleichzeitig manipulativ, ausbeuterisch und sozial kontrollierend sein.

Nach unserem Überblick über den EU-Vorschlag für eine Verordnung zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz („KI-Verordnung“) und der Einteilung in Risikoklassen widmen wir uns nun jenen KI-Praktiken, die nach der KI-Verordnung gänzlich verboten sein sollen.

Zunächst ist hervorzuheben, dass durch die Anwendung von KI-Systemen die Werte der Europäischen Union beachtet werden müssen. Ganz besonders dürfen die Achtung der Menschenwürde, Freiheit, Gleichheit, Demokratie und Rechtsstaatlichkeit, die Grundrechte der Union, einschließlich des Rechts auf Nichtdiskriminierung, Datenschutz und Privatsphäre sowie die Rechte des Kindes nicht verletzt werden.

In Artikel 5 der KI-Verordnung werden als verbotene KI-Systeme insbesondere Praktiken genannt, die:

1. ein erhebliches Potenzial darstellen, Personen zu manipulieren, indem sie auf Techniken zur unterschwelligen Beeinflussung zurückgreifen, die von diesen Personen nicht bewusst wahrgenommen werden und physischen oder psychischen Schaden zufügen können.
2. die Schwächen bestimmter schutzbedürftiger Gruppen ausnutzen (z.B. Kinder oder Personen mit Behinderungen), um deren Verhalten massiv so zu beeinflussen, dass sie selbst oder eine andere Person psychisch oder physisch geschädigt werden könnten.
3. durch öffentliche Behörden oder in deren Auftrag zur Bewertung oder Klassifizierung der Vertrauenswürdigkeit von Personen auf der Grundlage ihres sozialen Verhaltens oder bekannter oder vorhergesagter persönlicher Eigenschaften verwendet werden und es dadurch zu einer Schlechterstellung oder Benachteiligung dieser Personen kommt („Social Scoring“).
4. als biometrische Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen für die Zwecke der Strafverfolgung eingesetzt werden.

Diese verbotenen Praktiken scheinen auf den ersten Blick sehr Vieles zu beinhalten, es bestehen jedoch einige Ausnahmen. Zusätzlich wird zu klären sein, inwiefern eine Umgehung der absoluten Verbote, etwa durch eine klare Regulierung der Begriffsbestimmungen oder durch Anwendung der KI-Verordnung auch für Anbieter und Nutzer von KI-Systemen aus einem Drittland, verhindert werden kann.

*Mag. Andreas Schütz und Mag. Julia Allen sind Juristen der Kanzlei Taylor-Wessing.