Der ITWelt.at-Roundtable zum Thema "IT-Sicherheit in Zeiten Künstlicher Intelligenz" thematisierte das Spannungsfeld zwischen Security, KI und dem Menschen als letzte Instanz der Kontrolle. Nachfolgend die gesammelten Statements von Christoph Schmittner, Cybersecurity & Functional Safety beim AIT – Austrian institute of Technology. [...]
Welchen Aufgabenbereich verantworten Sie beim AIT?
Ich bin beim AIT für Cybersecurity und Functional Safety zuständig. Wir beschäftigen uns mit allen Aspekten der Security, von IT-Security, OT-Security über physical Security und haben inzwischen auch in diversen Bereichen AI im Einsatz. Aber AI ist auch ein Faktor beim Erkennen von Bedrohungen. Hier verarbeiten wir Bedrohungsformationen, erkennen Anomalien – das sind Aktivitäten, wo früher der Mensch große Datenmengen sichten und verarbeiten musste. Das kann man inzwischen automatisieren. Und dabei ist auch ein Thema: Wie kann man AI-Angriffe erkennen? Wir sind in dem Bereich in Forschungsprojekten, in Beratungsprojekten für die Industrie tätig, aber auch im Bereich Standardisierung, Trustworthy AI sowie Privacy und AI.
Vor 18 Monaten veröffentlichte OpenAI den auf Machine Learning und Large Language Models (LLMs) basierenden Chatbot ChatGPT. Andere Hersteller folgten mit ihren LLMs. Wie hat sich die aktuelle Gefährdungslage durch das Aufkommen von KI und Large Language Models verändert?
Es geht natürlich nicht nur um einfache Social-Engineering-Angriffe, sondern um die Einsatzmöglichkeiten von ChatGPT, die es seit 18 Monaten gibt. Seit ein paar Monaten kann man sich eigene ChatGPT-Instanzen erstellen und es gibt schon die ersten PEN-ChatGPTs, also spezialisierte Versionen basierend auf ChatGPT für Penetration Tests, die man testen kann. Prinzipiell ist dort nichts enthalten, was sicherstellt, dass es nicht auch ein Angreifender einsetzt. Die teilen einem Angreifenden mit, mit welchen Tools er beginnen soll, er oder sie kann den Output der Tools eingeben, sie empfehlen sogar Exploits. Das Wissen, das zur Verfügung gestellt wird, ist erstaunlich gut. Die Geschwindigkeit dieser Entwicklung ist erstaunlich, und es erstaunt wie schnell die Security-Seite es nutzen kann, aber auch wie schnell die Angreiferseite das bereits utilisiert hat. Das wird in den nächsten Jahren Interessant. Klar, Texte erstellen, deutlich bessere Phishing-E-Mails, ist das erste. Aber was wird via ChatGPT bzw. die generative AI noch alles an Angriffen, aber auch an Erleichterungen im Securitybereich entstehen? Das finde ich spannend. Man braucht immer noch den Menschen, der es benutzt, aber das Level an Zusatzwissen und Zusatzhandreichungen, das er bekommt, ist erschreckend.
Laut zahlreicher Studien nimmt das Gefährdungspotential stetig zu, aber sind durch die KI die Angriffe erfolgreicher?
Das ist ein sehr wichtiger Punkt. Ein guter KI-unterstützter Angriff ist von einem klassischen Angriff schwer zu unterscheiden, da der Angriff nicht komplett anders ist. Jetzt mit Gewissheit zu sagen, ob es einfach ein besserer Angreifender war oder ein jemand, der die KI besser eingesetzt hat, das ist sehr schwer. Das merkt man auch im Bereich der Erkennung von KI-generierten Texten und bei Desinformation. Die Unterscheidung ist so schwer, weil die KI inzwischen so wahnsinnig gut ist.
Large Language Models erlauben völlig neue Angriffsmöglichkeiten, man denke an Prompt Injection oder dem Einspielen von falschen Daten. Ist das bereits eine aktuelle Gefährdung oder wird es erst kommen?
Als erfahrener Programmierer kann ich von der KI erstellte Software-Schnipsel nutzen, und nach Belieben zusammenfügen. Die LLMs liefern immer, egal was ich frage, egal, ob eine Antwort möglich ist, sie liefern eine Antwort – diese muss jedoch nicht richtig sein. Ich kann mit eigenen Daten dafür sorgen, dass die Antwort öfters in meine Richtung geht. Dabei muss ich mir im Klaren sein: wo kommen meine Daten hin? Das ist ein sehr wichtiger Punkt, wenn ich Daten dem LLM zur Verfügung stelle. Wenn das LLM entsprechend abgesichert ist, weil ich z.B. der Besitzer dieses Large Language Models bin, dann ist das ok. Wenn die Daten in ein allgemeines LLM hineingespielt werden, dann sind sie einfach überall. Nicht zuletzt muss ich immer sicherstellen, ob der Output auf Fakten beruht oder einfach etwas generiert wurde, was nicht stimmt. Es gab einige wissenschaftliche Experimente, wo ChaftGPT wissenschaftliche Papiere verfassen sollte. Das hat ChatGPT auch gemacht – mit Zitaten und Quellenangaben. Der Haken: Es gab keine dieser Quellen. Das war alles einfach erfunden.
Fazit: Man muss deutlich misstrauischer werden.
Wie sehen Sie dieses Zusammenspiel vom Einsatz der KI in der Verteidigung und dem Mensch als Kontrollorgan, als letzte Instanz?
Wir haben schon seit längerer Zeit eine KI-Detektion, die lernt, den normalen Unternehmensdatenverkehr von Anomalien zu unterscheiden und dann Alarm schlägt. Die Anomalie kann ein Angriff sein. Das kann aber auch ein Mitarbeitender sein, der oder die sich anders verhält als alle anderen und gerade Dinge macht, die sonst keiner macht.Das System ist hervorragend darin, eine Abnormalität zu melden. Aber was die Abnormalität im jeweiligen Kontext ist, das fehlt noch. Das wird natürlich jetzt, je umfassender diese LLMs werden, je mehr Informationen sie verarbeiten können, immer besser – die Ergebnisgenauigkeit wird zunehmend besser und genauer werden. Aber sie wird in den nächsten drei bis fünf Jahren sicher keine 100 Prozent erreichen.
Es ist doch interessant sich anzusehen, was passiert, wenn man zum Beispiel der KI zu viel Möglichkeiten gibt oder zu sehr automatisiert, wie das die Air Canada gemacht hat. Dort hat die KI Preisauskünfte gegeben, die waren falsch. Die Air Canada wurde geklagt und musste zahlen. Kann Compliance helfen, besser auf die möglichen Gefährdungen zu reagieren?
Meiner Erfahrung nach stellen Regulatorien definitiv eine Chance dar, das Sicherheitslevel zu erhöhen. Was man derzeit sieht, sind viele Unternehmen, die ChatGPT und LLMs in Chatbot-Funktionen nutzen und denen nicht bewusst ist, dass es im Internet Riesen-Communities gibt, deren einziger Zweck es ist daran zu arbeiten, wie sie die Grenzen, die bei LLMs gesetzt wurden, umgehen können – sei es jetzt bei der Textgenerierung, sei es bei der Bildgenerierung. Es gibt Foren, die sich nur mit dem Bau von Prompts beschäftigen, mit dem die von den Firmen gesetzten Grenzen, in denen die Chatbots antworten dürfen, umgangen werden können. Als Output eines LLM ist alles erstellbar. Man hat zwar oft einen Filter, der bestimmt, was man darf und was nicht, zum Beispiel eine Preisauskunft geben soll nicht möglich sein. Aber das ist immer nur auf bestimmte Abfragen bezogen. Wenn ich jedoch Abfragen kreativ genug formuliere, dann kann ich diese Grenzen überwinden.
Wie sehr ist eigentlich die Bedrohungslage bei unseren Unternehmen angekommen?
Es muss immer etwas passieren, bevor man handelt. Zuerst sieht man die neue Technologie und prüft, wo man sie nutzen kann, und möchte nichts verpassen. Es ist definitiv wichtig, dass so ein Fall wie die erwähnte falsche Preisauskunft der Air Canada auch publiziert wird, weil damit Bewusstsein für das Thema geschaffen wird. Das ist nicht ein herkömmlicher Chatbot, der ein Sammelsurium von vorgefertigten Antworten hat, sondern der Chatbot wird prinzipiell alles beantworten, was ich ihm vorher nicht ausdrücklich verbiete. Sich zu überlegen, was das an Bedrohungen schafft, ist definitiv etwas, das ins Bewusstsein dringen sollte. Doch die Mehrheit der Unternehmen möchte nach wie vor nichts verpassen, beginnt aber doch langsam zu überlegen, was das in punkto Security für Folgen hat. Da hat sicher NIS2 und auch der AI Act einen Effekt. Es gilt, die Balance zu finden zwischen „nichts verpassen“ und auch die Sicherheit nicht vernachlässigen.
Bei NIS2 wird die Geschäftsführung persönlich für Versagen oder für Gefahren haftbar gemacht. Ist das clever hier mit Haftung zu agieren? Es gibt eine Umfrage von G Data vom vorigen Jahr, nach der jeder zweite Deutsche eigene Fehler im Bereich der Sicherheit verschweigt. Was ist besser: Haftung oder Strafen?
Bevor ich mit Cybersecurity angefangen habe, war ich im Bereich Functional Safety tätig, und dort war es immer schon so, dass wenn wirklich fahrlässig etwas falsch gemacht wurde, das strafbar war. Das war definitiv auch Motivation, Sicherheit umzusetzen. Ich kann es gegenrechnen und fragen: wieviel Gewinn mache ich, wenn ich nichts mache und wieviel muss die Firma gegebenenfalls zahlen – aber mit NIS2 trifft es mich persönlich. Das ist eine Abwägungsfrage. Man muss darauf achten, dass die persönliche Haftung nur bei fahrlässigen Aktivitäten zur Anwendung kommt. Aber prinzipiell ist die persönliche Haftung einfach als Motivator schon sehr stark.
Man muss jedoch ein vernünftiges Maß hinbekommen, denn es gibt wahnsinnig viele Angriffe, die schon durch ein gewisses Basislevel an Sicherheit abwehrbar wären. Wenn jemand gezielt eine Firma anzugreifen versucht, und dabei in Mittel und Wege investiert, dann ist dieser Angriff schwer abzuwehren, weil die Angreifenden intensiv Informationen gesammelt haben, wie etwa die Namen der Mitarbeitenden und wie eine Phishing-E-Mail formuliert sein muss, damit jemand sie anklickt. Aber bei den „Drive-by“-Angriffen, wo Angreifende einfach nur versuchen, spontan ins Unternehmensnetz hinzukommen, vielleicht über eine nicht gepatchte Schwachstelle, hat man eine wirkliche Chance, einen großen Anteil von Angriffen abzuwehren zu können. Dass Ausnutzen von einer Schwachstelle zulassen, wo der Patch seit einem halben Jahr vorhanden ist und trotzdem noch nicht eingespielt wurde, sollte nicht passieren. Meine Hoffnung ist, dass zumindestens hier der Sicherheitslevel erhöht wird.
Man müsste schneller werden…
Oder überhaupt etwas tun! Es ist ja oft so, dass das System einfach laufen muss. Für das Einspielen eines Patches muss das System für einen Tag heruntergefahren und getestet werden, ob alle Funktionen laufen. Deswegen wird oft gar nicht gepatcht.
Viele Unternehmen kämpfen für sich und versuchen Angriffe vorher zu erkennen oder, wenn das nicht gelingt, nachher, entweder Strafen zu zahlen oder den Vorfall zu verheimlichen. Wäre es nicht ratsam, wenn mehr Transparenz herrschte, sprich dass Unternehmen sich gegenseitig austauschten und so die anderen vor der laufenden Angriffswelle warnen?
Jein. Wir haben am AIT eine Cyberrange (AIT Cyber Range – Training Center), also eine Art Cybersecurity-Spielwiese , wo wir für den Energiesektor Cybertrainings durchführen, und auch eine Vernetzung der Teilnehmenden stattfindet. Es ist wichtig, eine gewisse Balance in der Transparenz zwischen den Firmen sowie zwischen staatlichen Behörden und Firmen zu finden. Aber auch nicht zu viel Transparenz. Man kann nicht alle Systeme sofort patchen, gerade in kritischen Bereichen muss ich etwas mehr testen. Es gibt ja auch bei den Schwachstellen-Datenbanken diese Responsible Disclosure. Das heißt, wenn ich gehackt werde und wenn ich die Schwachstelle kenne, dann sofort komplett öffentlich auf diese Schwachstelle hinzuweisen, ist vielleicht nicht das beste, weil die Systeme werden in dem Bereich von anderen Firmen auch verwendet. Ein Austausch zwischen den Firmen direkt ist auf jeden Fall sinnvoll.
Vor der Veröffentlichung von Schwachstellen muss man sich überlegen, wie man das handhabt, wie schnell man alle schließen könnte. Das ist der Punkt, wo man eine Balance finden muss von zu teilender Transparenz mit anderen Firmen oder sofort an die Öffentlichkeit zu gehen. Wenn die Schwachstelle schon lange bekannt ist, es bereits seit längerem einen Patch gibt, dann kann man es öffentlich machen, wenn der Angriff ganz neu ist, eher nicht.
Die IT-Security ist ein sehr komplexes Thema. Kann man mit KI die Komplexität verringern oder ist KI ein Faktor mehr, der die Komplexität erhöht?
Wer KI intelligent einsetzt, kann damit definitiv die Komplexität reduzieren. Aber man braucht Expertise und diese im Unternehmen aufzubauen ist schwierig. Hier ist es einfacher etwas zu nutzen, das die KI schon intelligent beinhaltet. Es gibt eine Studie zum Programmieren mit Microsoft Copilot, wo man feststellte, dass er zu einer gewaltigen Erhöhung von Code-Duplikaten geführt hat, weil die Leute den KI-Vorschlag zum Code einfach automatisch angenommen haben und diese zehn Mal das Gleiche vorgeschlagen hat. Wenn ich da diese Intelligenz nicht nutze, sondern einfach nur die KI ohne zu überlegen einsetze, dann habe ich danach eine höhere Komplexität. Die Frage ist: Muss ein Unternehmen diese Expertise im Einsatz von KI in der Security selber aufbauen oder greift man auf Lösungen zurück, die einfach schon enthalten sind? Ich denke, die meisten Unternehmen tun sich schon schwer, eine Security-Strategie für zahlreiche Bedrohungen aufzubauen – wenn sie noch eine für die KI aufbauen müssen, haben sie keine Chance. Diese Unterstützung müssten sie extern herbekommen.
Wir brauchen für eine gute IT-Security auch gutes Personal, Experten, Leute, die sich auskennen und diese sind oft nicht verfügbar. Kann hier die KI helfen, diese Leute zumindest teilweise zu ersetzen?
Grundsätzlich geht es darum, dass die KI dafür eingesetzt werden soll, den Menschen im Umgang mit der stetig ansteigenden Komplexität – hier im IT-Systemkontext – zu unterstützen. Und wie Sie sagen, Experten und Expertinnen werden dringend gesucht, die Letztentscheidung kann nur von einem Menschen getroffen werden, denn das Funktionieren der Systeme hat Auswirkungen auf alle unsere Lebensbereiche. Klar ist, dass in dem Moment, in dem jemand nicht nur eine Firma, sondern mittels KI vier oder fünf Firmen betreuen kann, eine Auslagerung deutlich interessanter ist, weil ich dort Ressourcen sparen kann. Und das sehen wir auch schon: Wir führen Tests für Security-Produkte durch, testen auch normale Produkte, führen Pentests durch und das kann ein Kleinunternehmen nicht. Das ist eine Dienstleistung, die Firmen anbieten. Diese haben die Tools, haben die Erfahrung, haben auch die AI-Tools dafür und sind damit einfach so viel effizienter. Will man es selber machen, muss man eine Abteilung aufbauen. Das gelingt einem Großunternehmen, KMUs können das aber nur über externe Dienstleister bewältigen.
Ein wichtigerPunkt ist der Ausgleich des Wissens. Wir haben bei uns eine Gruppe, die beschäftigt sich mit 5G, 6G, wir haben eine Gruppe, die beschäftigt sich mit Kryptografie, wir haben eine Gruppe, die beschäftigt sich mit Hardware-Security. Wenn ich das gleiche System diesen Gruppen gebe, bekomme ich komplett unterschiedliche Analysen, die auf komplett unterschiedliche Schwachstellen hinweisen. Der gemeinsame Erfahrungsschatz ist vielleicht nicht so pointiert wie jener des oder der einzelnen Expert:in, kann aber doch die Breite von dem Wissen ausgleichen, auf das ich zugreifen möchte.
Wie wichtig ist stete Mitarbeiterschulung und Awareness?
Jeder kennt die Angriffe, wo man ein E-Mail vom Finanzchef bekommt, indem dieser einen auffordert, Geld zu überweisen. Ich kann inzwischen live Deepfakes senden, wo sowohl Stimme wie auch Bild verändert werden, ein Fake-Video-Call ist damit möglich. Da gelange ich in punkto Security bald an meine Grenzen, außer das Unternehmen beschließt überhaupt keine Überweisungen aufgrund einer Videoaufforderung zu machen, sondern so etwas nur mit definierten Prozessen abzuwickeln. Ansonsten kann eine Security gar nichts machen. Folgerichtig muss den Mitarbeitenden klar sein, das ist unser Prozess, den dürfen wir nicht überspringen. Ansonsten werde ich diesen Angriff nicht abwehren können. Das muss komplett ins Bewusstsein übergehen.
Bieten Sie Sicherheitsschulungen im Rahmen Ihrer IT-Security-Dienstleistung an?
Wir organisieren regelmäßig Cybersicherheitstrainings, sowohl auf Detailebene für einzelne Firmen als auch um Informationsaustausch zu üben. Es ist natürlich ganz wichtig, dass man diese technische Ebene nicht vernachlässigt. Aber auch das regelmäßige Trainieren zu Themen wie Awareness ist wichtig, und dass man sich informiert wie die Firma zusammenarbeitet, wie man nachfragt, wie und wo man meldet. Denn in jedem Gefahrenvorfall ist es wichtig zu wissen, was ich tun muss, an wen ich mich wenden muss, wie ich reagieren muss.
Dass Kunden und Kundinnen Vertrauen haben in die Technik und in das anbietende Unternehmen ist sehr wichtig. Wie erreichen Sie das?
Man muss auch wirklich zeigen, dass das, was man verkauft, nichts ist, was nur für Kund:innen bestimmt ist und im Unternehmen verwendet man dann letztlich etwas anderes, sondern man muss auch vorleben, dass man selber auf die angebotenen Produkte vertraut. Das ist ein wichtiger Punkt im Vertrauensaufbau, dass der Kunde oder die Kundin merkt, dass man aus Erfahrung spricht, man vertraut seinem eigenen Tool und nutzt es selber auch. Und deswegen kann man den Kunden und Kundnnen auch erklären, dass diese Lösung das Richtige ist.
Kann man auch über durch Zertifizierungen Vertrauen zu fördern?
Beim Cloud Computing wird sofort, wenn irgendwo persönliche Daten vorhanden sind, danach gefragt, wo die Daten verarbeitet werden, ob man die überhaupt speichern darf, da geht es um Compliance, die man erfüllen muss.. Es soll ja ab 2027 laut Cyber Resiliance Act für jedes digitale Produkt – Software und Hardware – Cybersecurity erforderlich sein. Und ich bin sehr gespannt, wie das dann hilft. Es wird immer noch die persönliche Schiene wichtiger sein. Entweder ich habe einen großen Konzern, wo jemand die Lösung wirklich technisch beurteilen kann und die Problematik dann übersetzt. Im kleinen Mittelstandbereich kaufen Kund:innen die Lösung ja, weil sie die Security-Expertise nicht haben. Wenn ich diesen dann Security-Assessments oder ein Cyber-Resilience-Zertifikat vorlege, dann werden sie nicht in der Lage sein, das zu beurteilen und zu verstehen. Hier ist dieses direkt persönliche Element zwischen Kund:innen und Verkäufer:innen, aber auch die Erfahrungsberichte von anderen viel wichtiger.
Wohin entwickelt sich die IT-Security im Zeichen der künstlichen Intelligenz? Welche neuen Gefahren, welche Möglichkeiten sehen Sie auf uns zukommen?
Ich sehe es nicht nur auf der Ebene der technischen Maßnahmen. Betrachtet man die letzten Jahre, sieht man, auch wenn es in Europa NIS2 gibt, dass Cybersecurity-Regulierungen ja aus aller Welt kommen. Selbst der Mittelstand ist oft auch nicht nur in einem Land tätig, sondern international. Da ist die Herausforderung sicherzustellen, dass man mit den verschiedenen Vorgaben compliant ist. Das ist, neben der Vereinfachung der Tools, der Softwarelandschaft, ebenfalls ein großer Punkt. Dass man einfacher compliant wird – das ist eine der großen Herausforderungen für mittelständische Firmen, nämlich dass die Compliance mit den verschiedensten Security-Vorgaben in bestimmten Ländern zunehmend schwierig wird.
Ein Security-Thema sind auch Quantencomputer. Bei der Quantenverschlüsselung kann das AIT auf jahrzehntelanges Knowhow zurückgreifen. Gegenwärtig beschäftigen wir uns gemeinsam mit nationalen und internationalen öffentlichen Bedarfsträgern und der Industrie mit dem Aufbau eines quantensicheren Kommunikationssystems auf Europäischer Ebene und leiten entsprechend große Umsetzungsprojekte der Europäischen Kommission. Natürlich besitzen diese Komponenten im Zuge der Entwicklungsphase noch einen hohen Kostenfaktor. Man wird aber rasch merken, wie sich die industrielle Fertigung positiv auf die Preisgestaltung auswirkt. Daher stellt der Aufbau einer europäischen Herstellerindustrie für quantenkryptografische Komponenten und Systeme ebenfalls einen wesentlichen Bestandteil unsere Aktivitäten dar. Zudem muss man im Kontext der bevorstehenden Realisierung von Quantencomputern und ihrer extrem hohen Performance, wodurch heutige Verschlüsselungsstandards nahezu obsolet werden würden, jetzt schon darüber nachdenken, ob eine verschlüsselte Information, die heute kritisch ist, auch noch in zwei Jahren kritisch sein wird. Dass muss man bei der Wahl von Verschlüsselungen bedenken.
Be the first to comment