IT-Security in Zeiten von KI

Wenn es um IT-Security geht, ist KI ein zweischneidiges Schwert: Cyberkriminelle nutzen sie für ihre Angriffe und Unternehmen verwenden sie für die Abwehr. Im Roundtable von ITWelt.at diskutierten Experten, wie weit man KI vertrauen kann, wie sehr sie reguliert gehört und welche Rolle der Mensch im "Kampf der Maschinen" spielt. [...]

Bereits 2022 erbeuteten Cyberkriminelle laut EU-Agentur für Cybersicherheit mittels Ransomware weltweit 10 Terabyte an Daten – und zwar monatlich. Der mit Lösegeld-Trojanern angerichtete Schaden verdoppelte sich demnach von 2015 auf 2020 auf 5,5 Milliarden Euro. 2023 lag er laut Statista (www.statista.com) schon bei 10,8 Milliarden Euro. Laut X-Force Threat Intelligence Report der IBM war 2023 Europa die von Ransomware am stärksten betroffene Region weltweit. Gemäß Sophos Threat Report waren 66 Prozent der befragten Unternehmen 2023 von Ransomware-Attacken betroffen. Es ist offensichtlich: Das Bedrohungspotenzial, dem Unternehmen gegenüberstehen, wird stetig größer. Mit dem Aufkommen von auf Large Language Models (LLMs) beruhender künstlicher Intelligenz (KI) eröffnen sich zwar zahlreiche neue Geschäftschancen, aber auch jede Menge an weiteren Bedrohungspotenzialen. Welche das sind, was man dagegen tun kann und wie hier die menschliche Komponente der Verteidigung aussehen kann, diskutierten beim Roundtable „Der Mensch als letzte Instanz – IT-Security in Zeiten der künstlichen Intelligenz“ Stephan Preining, Leiter Security bei IBM Österreich, Markus Gröller, Senior Sales Engineer bei Sophos, Thomas Boll, Gründer und Geschäftsführer von Boll Engneering und Christoph Schmittner, Experte für Cybersecurity und Functional Safety am Austrian Institue of Technology (AIT).

Sich veränderndes Gefährdungspotenzial

Mit oder ohne KI, das Bedrohungspotenzial ändere sich laufend, weiß Stephan Preining, da Cyberkriminelle stets auf der Suche nach neuen, erfolgsversprechenden Angriffsmöglichkeiten sind. So seien letztes Jahr laut IBMs X-Force Threat Intelligence Report erstmals nicht Phishing und Ransomware die meist genützte Angriffspraxis gewesen, sondern Angriffe mit gültigen Zugriffsdaten. Der Grund, so Preining: „Es ist gegenwärtig wesentlich einfacher, Zugangsdaten im Darknet zu besorgen, als eine Phishing-E-Mail zu schreiben.“ Das Erstellen einer gut gemachten Phishing-Mail dauere im Schnitt zwei Tage, das Besorgen der Daten gehe schneller, zudem seien solche Angriffe schwerer zu erkennen, so der IBM-Experte. Dennoch, Ransomware bleibe ein große Gefahr, denn „mit den Large Language Models wird es immer einfacher, auch gute Phishing-E-Mails zu schreiben“, so Preining.

„Die Angriffe werden automatisierter, zielgerichteter und vor allem schneller“, pflichtet Markus Gröller bei. „Phishing in zwei Tagen – das geht künftig noch schneller.“ Aus Sicht der Verteidiger bedeute das, dass man für die Abwehr ebenfalls KI-Technologie einsetzen müsse, um mit den Angreifern mithalten zu können, was punktuell schon geschehe, so Gröller. Die Tatsache, dass man heute Malware einfacher und vor allem schneller und zudem in einer besser personalisierten Form erstellen kann, stelle hohe Anforderungen an die Abwehrsysteme wie aber auch an die Mitarbeiter und Mitarbeiterinnen, beobachtet auch Thomas Boll. Wobei Detection und Response sicher ein sehr wichtiges Thema seien, doch dürfe man auch nicht auf die Prävention vergessen. Boll: „Es ist wesentlich weniger aufwendig, wenn wir den Angriff verhindern können, als wenn wir nachher aufräumen müssen.“ Die Gefährdungslage habe sich auf jeden Fall zugespitzt und sei etwa mit jener vor zwanzig Jahren nicht mehr zu vergleichen. Damals wäre nach einem erfolgreichen Angriff vielleicht eine Funktion ausgefallen, heute verliere man so gut wie alle Funktionen, da von einem Angriff getroffene Unternehmen danach schon einmal zwei Wochen offline sein können.

Dabei seien fehlerfreie Texte und bessere Phishing-Mails erst der Anfang, ergänzt Christoph Schmittner, es werde spannend, was generative KI noch alles an Erleichterungen für die Angreifer mit sich bringen werde. Wobei, fügt Markus Gröller hinzu, „wenn jemand eine Ahnung hat, wie man ChatGPT ausnutzt, ist KI heute schon ein wesentlicher Bestandteil, um erfolgreich einen Angriff durchführen zu können – Tendenz steigend.“ Sicher, der ChatGPT-Anbieter OpenAI habe aus ethischen Gründen von Anfang an plumpe Prompts wie etwa „ChatGPT schreib mir eine Ransomware“ untersagt. Doch Programmierer, die wissen, wie man eine Malware schreibt, konnten sich immer schon von ChatGPT Software-Fragemente schreiben lassen, und diese dann mit Hilfe ihres Knowhows zusammenfügen.

Zudem würden bei zunehmender Konsolidierung des Marktes Large Language Models selbst zu einem Angriffsziel, wie „Prompt Injection“ oder dem Einspielen falscher Daten, ist Stephan Preining überzeugt. Derzeit sei der Markt noch fragmentiert, was es es für Angreifer kostspielig und ineffizient mache, ein bestimmtes System anzugreifen, „doch wenn eine Technologie 50 Prozent Marktanteil hat oder es nur noch drei Teilnehmer am Markt gibt, werden auch diese LLMs ein bevorzugtes Angriffsziel“, prognostiziert Preining.

Ein Propblem der LLMs ist derzeit die Fehleranfälligkeit, man spricht hier auch von „Halluzinationen“. Schmittner verweist hier auf wissenschaftliche Experimente, im Rahmen derer man ChatGPT wissenschaftliche Papiere schreiben hat lassen. Das habe ChatGPT auch gemacht, sogar mit Zitaten und Quellenangaben, so Schmittner. „Der Haken: Es gab keine dieser Quellen. Das war alles einfach erfunden.“ Für Thomas Boll ist das eine vorhersehbare Entwicklung, denn das System lerne ja, „und wenn es etwas Falsches lernt, dann gibt es einen falschen Output. Damit müssen wir verstärkt rechnen, je mehr sich diese Systeme entwickeln.“ „Man muss deutlich misstrauischer werden“, pflichtet Schmittner bei und auch Stephan Preining bestätigt: „Egal, mit welchen Daten ich das Modell trainiere, besteht immer die Gefahr des Halluzinierens.“ Deswegen sei es so wichtig, „dass stets ausgewiesen wird, wenn KI-generierte Ergebnisse zur Verfügung gestellt werden, damit eine kritische Betrachtung ermöglicht wird.“ Zudem sei das Trainieren ebenfalls ein möglicher Angriffspunkt, ergänzt Preining, denn hier würden die Daten aus dem gesicherten Bereich genommen, in dem sie sich normalerweise befinden. Hier müsse man sich sehr klar darüber sein, wer mit welchen Berechtigungen auf die Daten zugreift. Zudem gehöre alles entsprechend abgesichert, sodass die Daten an dieser Stelle nicht von einem Angreifer abgegriffen werden und gestohlen werden oder falsche Daten zum Trainieren eingeeschleust werden, um das Modell in eine falsche Richtung zu führen.

Begrenztes Vertrauen in die KI

Die KI ist ein zweischneidiges Schwert, sie nützt sowohl der Angreifer- als auch der Vertreidigerseite. So verwundert es auch nicht, wenn alle Diskussionsteilnehmer darin übereinstimmen, dass eine vollständige Automatiserung der Security-Maßnahmen durch künstlicher Intelligenz keine gute Idee ist. Die Entscheidungen, die nach einem Angriff getroffen werden müssen, hätten „große, auch kommerzielle Konsequenzen, die man im Regelfall nicht der Maschine überlassen möchte“, sagt Stephan Preining. Die Risiken abzuschätzen, soll dem Menschen überlassen bleiben. Auch Markus Gröller glaubt nicht, dass wir bereits so weit sind, um der KI-Technologie voll und ganz vertrauen zu können und schätzt, „dass wir die menschliche Komponente sicher noch in den nächsten drei bis fünf Jahren benötigen werden.“

Christoph Schmittner ergänzt, dass KI-Systeme hervorragend darin seien, eine Abnormalität zu melden. „Aber herauszuarbeiten, was die Abnormalität im jeweiligen Kontext ist, das fehlt noch.“

Die Aufgabe, die eine KI leisten kann und soll, beschreibt Thomas Boll sehr anschaulich: „Die KI muss vorsortieren, weil die Menge der Informationen, die wir bekommen, nicht mehr bewältigbar ist. Wenn Sie pro Sekunde 10.000 Alarme erhalten, ist es schwer, darauf zu reagieren. Erst wenn Sie die KI vorsortieren lassen, dann hilft sie Ihnen, am richtigen Ort zu schauen.“ Das gehe aber ohne Menschen noch nicht, weil es gröbere Zusammenhänge brauche. Trotzdem könne man mit der KI schon erstaunliche Resultate erreichen, ist Boll überzeugt. „Es gibt auch Gegenmittel, mit denen man Malware erkennt, die man noch nie gesehen hat. Und das funktioniert erstaunlich gut. Und wenn man in der Prävention 90 Prozent abwehrt, und man von den durchkommenden restlichen zehn Prozent die wirklich wichtigen heraussortieren lassen kann, dann hat der Mensch wieder eine Chance, die Entscheidungen zu treffen.“

Compliance als Security-Motivator

Bei all den genannten Gefährdungen sollte man meinen, dass sich heimische Unternehmen des riesigen Bedrohungspotenzials bewusst sind und entsprechende Vorkehrungen treffen. Die Lage ist aber eine andere, wie Stephan Preining beschreibt: „Im Moment ist die Stimmung geprägt von der Angst, etwas zu verpassen. Gegenwärtig liegt der Fokus darauf, wie ich diese Lösungen möglichst rasch an die Kunden bringe, damit ich dort beispielsweise das Kundenservice verbessern kann.“ Wie eine entsprechende Absicherung aussieht, darüber mache man sich noch wenig Gedanken. Zwar gebe es bereits eine abgesicherte Infrastruktur, die man als Schutz bis zu einem gewissen Grad verwenden kann, doch die Spezifika bezüglich der Large Language Models müssten viel stärker berücksichtigt werden, so Preining.

Markus Gröller ortet hingegen in den letzten 24 bis 36 Monaten die Herausbildung eines Bewusstseins für die zahlreichen Cyberbedrohungen, denen Unternehmen ausgesetzt sind. Ein möglicher Grund könnten, so Gröller, aktuelle und kommende Regulatorien wie NIS2 sein sowie die mediale Berichterstattung über von Cyberangriffen betroffene Unternehmen und öffentliche Institutionen. „Man erkennt: Wenn es diese große Unternehmen trifft, dann kann es uns auch treffen“, so Gröller. Oder, wie Christoph Schmittner ergänzt, „es muss immer etwas passieren, bevor man handelt.“ Seiner Meinung haben NIS2 oder auch der AI Act der EU Anteil daran, dass die Bedrohungen auch in das Bewusstsein der Unternehmer und Unternehmerinnen dringen. Mit der NIS2-Vorgabe, pflichtet Gröller bei, die Geschäftsführung für Sicherheitsmängel des Unternehmens persönlich haftbar zu machen, kommt hier nochmals ein sehr motivierender Faktor hinzu, sich intensiv mit den IT-Security-Vorgaben auseinanderzusetzen, die man implementieren muss. Man müsse allerdings, entgegnet Schmittner, „darauf achten, dass die persönliche Haftung nur bei fahrlässigen Aktivitäten zur Anwendung kommt.“

Andererseits weist Thomas Boll darauf hin, dass der IT-Sicherheitsbereich gekennzeichnet sei durch den permanenten Wettlauf zwischen Angreifer und Verteidiger: „Immer wenn wir das Gefühl haben, wir haben die Abwehr richtig eingestellt, dann hat der Angreifer eine neue Idee und verbessert seine Angriffe und zieht mit uns gleich.“ In diesem Sinne zweifelt Boll daran, ob die Regulatorien schnell und dynamisch genug seien, um mit der künftigen Bedrohungslage in der IT mitzuhalten, also, dass gesetzliche Vorgaben schon bald nicht mehr dem Stand der technischen Entwicklung entsprechen. „Aber natürlich erzeugen NIS2 & Co. Druck, sodass gehandelt werden muss und nicht mehr aufgeschoben werden kann.“ Zur persönlichen Haftung meint Thomas Boll: „So wie die Geschäftsleitung die Geschäftszahlen und dergleichen im Griff haben muss, muss sie auch die Security im Griff haben und da hat die persönliche Haftung schon einen gewissen Sinn.“ Jedoch warnt er davor, „dem Mittelstand oder den kleinen Firmen zu viele aufzubürden“. Gerade den kleinen Firmen sei es oft nicht möglich, all diese Vorschriften umzusetzen.

Informationsaustausch als gemeinsames Bollwerk

„Die Angreifer tauschen die Informationen aus. Genauso sollten die Unternehmen die Informationen austauschen“, bringt es Preining auf den Punkt. Es gebe auch Melde-stellen, sodass man zumindest vor laufenden Angriffskampagnen (vor-)gewarnt sei. Markus Gröller sieht den Informationsaustausch zwischen Unternehmen ebenfalls als einen essenziell wichtigen Punkt, deswegen veranstalte Sophos branchenübergreifende Cybersecurity-Roundtables, bei denen man IT-Sicherheitsverantwortliche, Vorstände und Geschäftsführer miteinander „verknüpfen“ wolle, so Gröller.

Auch mehr Transparenz kann bis zu einem gewissen Grad helfen. Preining warnt allerdings vor dem Veröffentlichen einer Schwachstelle, wenn es noch keine Lösung, sprich einen „Patch“ dafür gebe, um diese zu beheben. Schmittner verweist hier auf Datenbanken, die Schwachstellen im Rahmen einer responsible disclosure, einer verantwortungsvollen Veröffentlichung, auflisten.

Schwachstellen mit vom Hersteller zur Verfügung gestellten Patches zu beheben, ist ein Muss, sagt Markus Gröller. Allerdings gehe das Patchen in der Praxis oft nicht sofort, „weil ich eine hochkritische Infrastruktur vorher testen muss. In einem Testzeitraum von ein, zwei Wochen oder punktuell sogar länger, muss man das Verhalten beobachten, damit ich die neuen Updates in der Produktionsumgebung einsetzen kann.“ Das heißt, es gibt eine patch-freie Lücke von rund zwei bis vier Wochen, in der die Schwachstelle bereits bekannt ist, der Patch aber noch nicht implementiert wurde. Doch besser diese Lücke als durch Nachlässigkeit mit dem Einspielen des Patches ein halbes Jahr oder länger zu warten, so Gröller.

Wichtig sei jedenfalls die Mitarbeiter und Mitarbeiterinnen eines Unternehmens – auch in punkto Security-Awareness-Schulung – nicht zu vernachlässigen, ist Boll überzeugt. Sein Unternehmen habe drei Produkte für Security Awareness, die auch KI nutzten, um diese Tests zu personalisieren und quasi aus der Sicht des Angreifers auszuführen. „Mit der eigenen Webseite und mit eigenen Informationen kann man sich so Szenarien zusammensetzen lassen. Man promptet sich quasi einen Awareness-Angriff und das ist recht effizient“, befürwortet der Schweizer solche äußerst realitätsnahen (Trainings-)Angriffe.

Wenn von Mitarbeitern und Mitarbeiterinnen die Rede ist, ist auch das Thema Fachkräftemangel nicht weit. Hier würden Standard-Analyse-Tätigkeiten bei IBM bereits vollkommen von der KI erledigt, bestätigt Preining. Die Mitarbeitenden könnten sich dann auf die wesentlichen Aufgaben konzentrieren. Jedenfalls unterstütze im IT-Security-Bereich die KI die Mitarbeiter und Mitarbeiterinnen bei der Bewältigung komplexer Aufgaben. KI brauche man also, um das bestehende Personal freizuspielen, ist sich Schmittner sicher. Hier hakt Markus Gröller ein und betont, dass wer nicht die benötigten IT-Security-Fachkräfte ins Haus bekommen könne, lieber gewisse Themenbereiche an einen externen Dienstleister outsourcen soll. Stichwort Managed SOC und Managed Detection and Response.

Christoph Schmittner verweist auf den Cyber Resilience Act (CRA), der ab 2027 für jedes digitale Produkt, sei es Hardware oder Software, Cybersecurity erforderlich mache. Auch wenn hier ein Großunternehmen die nötige Security-Expertise habe, könne man von einem Mittelständler oder Kleinunternehmer nicht verlangen, dass er ein CRA-Zertifikat verstehen und beurteilen könne. Deswegen bleibe das persönliche Element zwischen Verkäufer:innen und Kund:innen wichtig, so Schmittner. Referenzgespräche mit bestehenden Kunden oder mit Mitarbeitenden, die die Lösung schon längerfristig einsetzen, seien hervorragende Mittel um Vertrauen zu schaffen, pflichtet Gröller bei.

„Security ist nach wie vor ein sehr komplexes Thema und die Unternehmen setzen im Regelfall relativ viele Werkzeuge ein, die wenig integriert sind“, beschreibt Preining die aktuelle Situation. Zustimmend fasst Boll zusammen: „Wir müssen Strukturen vereinfachen, Legacy-Systeme loswerden und den Fokus auf die Daten setzen.“ Dabei sei das wichtigste, ergänzt Gröller, dass die Daten zentralisiert vorliegen, damit Analysten, Forensiker oder SOC-Analysten die Möglichkeit haben, alles zentral einsehen und bewerten zu können.