TÜV AUSTRIA präsentiert Anforderungen und Lösungsvorschläge für die Bewertung von KI-Systemen und empfiehlt eine entsprechende Präzisierung für den EU AI Act. [...]
Nach jahrelangen Verhandlungen wurde kürzlich Europas neues KI-Gesetz, der EU AI Act, vom Europäischen Parlament verabschiedet. Der finale Text dazu wird erst 2024 vorliegen, ab 2026 soll das neue Gesetz vollumfänglich angewendet werden.
Thomas Doms, Geschäftsführer von TRUSTIFAI und Software Competence Center Hagenberg für KI-Anwendungen, anerkennt, dass der EU AI Act ein wichtiger Schritt ist, die Risiken von KI-Anwendungen zu regeln – immer unter der Berücksichtigung der Interessenpositionen seitens der EU-Kommission und der 27 Mitgliedsstaaten. Das KI-Gesetz greife zudem auch mehr auf als entsprechende Regelungen in den USA und China.
Zufrieden ist er mit dem ausgehandelten Gesetz dennoch nicht.
„Aus der Sicht einer Prüforganisation, die bereits im Jahr 2020 mit TRUSTED AI den weltweit ersten Testkatalog für KI-Anwendungen herausgebracht hat und über umfangreiche Expertise bei der Prüfung von Machine-Learning-Modellen verfügt, werden die bekannten funktionalen Risiken, die sich aus dem Einsatz von KI ergeben können, nicht klar genug adressiert.“
Funktionale Anforderungen im EU AI Act nicht ausreichend berücksichtigt
So seien die Grundlagen für zukünftige Konformitätsbewertungen in Hinblick auf die funktionalen Anforderungen an diese Systeme – wie Robustheit, Transparenz und Zuverlässigkeit, in den Normungsgremien und im EU KI-Gesetz nicht ausreichend berücksichtigt, betont Doms. Es fehlten auch konkrete Vorgaben für einheitliche Risikobewertungsverfahren und mögliche Opt-Out-Verfahren für Stand-Alone-Systeme. Das berge die Gefahr einer Ungleichbehandlung von gleichartigen Produkten.
Doms fordert, dass sogenannte Low-Profile-Zertifizierungen oder rein papier- und dokumentenbasierte Überprüfungen von riskanten KI-Anwendungen vermieden werden müssen.
„Unsere Erfahrungen aus bereits durchgeführten Zertifizierungsprojekten zeigen, dass die häufig geäußerte Befürchtung mancher Stakeholder, dass Prüfverfahren mit ausreichender Prüftiefe zu einer Überregulierung führen würden, ein Scheinargument ist. Denn selbst Prüfungen für komplexe Modelle und Anwendungen haben unter Berücksichtigung der Anforderungen an die funktionale Sicherheit einen wirtschaftlich vertretbaren Umfang niemals überschritten.“
Stichproben anstelle papier- und dokumentenbasierten Überprüfungen
Thomas Doms: „Die Komplexität, wie wir sie beispielsweise von tiefen neuronalen Netzen kennen, erschwert es auch, Fehlfunktionen oder Manipulationen von außen zu erkennen und zu beheben.
Um einen sicheren, robusten und transparenten Einsatz von KI, insbesondere in sicherheitskritischen Anwendungen, zu gewährleisten, sind hinreichende funktionale Anforderungen zu spezifizieren sowie angemessene Konzepte, Methoden und Werkzeuge für entsprechende Tests erforderlich.“
Die Qualität eines vertrauenswürdigen KI-Entscheidungssystems lässt sich vor allem durch die korrekte statistische Prüfung an Stichproben und in der Präzision der Definition des Anwendungsfeldes, die die Ziehung von repräsentativen Stichproben überhaupt erst möglich macht, feststellen. Thomas Doms: „Wir fordern daher, dass eine zuverlässige Bewertung der statistischen Funktionseigenschaften eines KI-Systems nach dem bekannten wissenschaftlichen Stand der Technik den unverzichtbaren und verbindlichen Kern einer Konformitätsbewertung bilden muss.“
Dazu notwendig sind:
- eine genaue Definition des Verwendungszwecks, formalisiert als technische Verteilung, die eine Zufallsauswahl ermöglicht
- die Erhebung von risikobasierten Mindestleistungsanforderungen und
- statistisch valide Tests auf der Basis unabhängiger Stichproben.
„Die TÜV AUSTRIA TRUSTED AI Testmethode kann sowohl auf überwachte als auch auf unüberwachte Lernanwendungen angewendet werden. Wir sind gerne bereit unsere Kriterien, Erfahrungen und Bewertungsergebnisse mit der EU-Kommission und ihren Standardisierungsgremien zu teilen. Damit bestehende Regelungslücken im EU-Gesetz rasch geschlossen werden können“, so Doms abschließend.
Be the first to comment