Schutz für KI-Anwendungen vor Prompt-Injection-Angriffen

Microsoft hat neue Sicherheitsmaßnahmen für den Semantic Kernel vorgestellt, die Entwicklern helfen sollen, Prompt-Injection-Angriffe zu verhindern. [...]

Prompt-Injection-Angriffe stellen eine ernsthafte Bedrohung für Anwendungen dar, die automatisierte Chat-Prompts verwenden. (c) stock.adobe.com/Zsolt Bota Finna

Prompt-Injection-Angriffe stellen eine ernsthafte Bedrohung für Anwendungen dar, die automatisierte Chat-Prompts verwenden. Mit dem Ziel, diese Bedrohung zu minimieren, verfolgt Microsoft einen Zero-Trust-Ansatz, bei dem jeder Eingabewert zunächst als unsicher behandelt wird. Dies bedeutet, dass alle in Prompts eingefügten Inhalte standardmäßig codiert werden, um schädliche Eingaben zu verhindern.

Ein Beispiel für eine potenzielle Sicherheitslücke wären Benutzereingaben, die möglicherweise bösartigen Code enthalten. Microsoft hat mehrere Strategien entwickelt, um eine derartige Infiltration zu verhindern.

Entwickler sind jetzt in der Lage, Eingangsvariablen und Rückgabewerte von Funktionen so zu konfigurieren, dass sie entweder als sicher oder unsicher betrachtet werden. Standardmäßig wird der Inhalt einer Eingangsvariablen HTML-codiert, was zur Sicherheit der Anwendung beiträgt. Jedoch können Entwickler auch opt-in-Optionen nutzen, wenn sie davon überzeugt sind, dass bestimmte Inhalte sicher sind.

Die neue Sicherheitsschicht umfasst auch die Integration von Tools wie Prompt Shields, die speziell entwickelt wurden, um gegen Prompt-Injection-Angriffe zu schützen. Prompt Shields ist ein API, das Eingaben an Large Language Models analysiert und Angriffe erkennt.

Ein weiteres Plus ist die Dokumentation sowie Beispiele, die Microsoft zur Verfügung stellt, um Entwicklern einen klaren Überblick über die Implementierung dieser Sicherheitsmaßnahmen zu geben. Künftige Updates und Blogbeiträge sind in Planung, um die Community über die fortlaufenden Entwicklungen im Bereich der Sicherheitsprotokolle auf dem Laufenden zu halten.

Weitere Infos gibt es im englischsprachigen Blogeintrag.


Mehr Artikel

Gregor Schmid, Projektcenterleiter bei Kumavision, über die Digitalisierung im Mittelstand und die Chancen durch Künstliche Intelligenz. (c) timeline/Rudi Handl
Interview

„Die Zukunft ist modular, flexibel und KI-gestützt“

Im Gespräch mit der ITWELT.at verdeutlicht Gregor Schmid, Projektcenterleiter bei Kumavision, wie sehr sich die Anforderungen an ERP-Systeme und die digitale Transformation in den letzten Jahren verändert haben und verweist dabei auf den Trend zu modularen Lösungen, die Bedeutung der Cloud und die Rolle von Künstlicher Intelligenz (KI) in der Unternehmenspraxis. […]

News

Richtlinien für sichere KI-Entwicklung

Die „Guidelines for Secure Development and Deployment of AI Systems“ von Kaspersky behandeln zentrale Aspekte der Entwicklung, Bereitstellung und des Betriebs von KI-Systemen, einschließlich Design, bewährter Sicherheitspraktiken und Integration, ohne sich auf die Entwicklung grundlegender Modelle zu fokussieren. […]

News

Datensilos blockieren Abwehrkräfte von generativer KI

Damit KI eine Rolle in der Cyberabwehr spielen kann, ist sie auf leicht zugängliche Echtzeitdaten angewiesen. Das heißt, die zunehmende Leistungsfähigkeit von GenAI kann nur dann wirksam werden, wenn die KI Zugriff auf einwandfreie, validierte, standardisierte und vor allem hochverfügbare Daten in allen Anwendungen und Systemen sowie für alle Nutzer hat. Dies setzt allerdings voraus, dass Unternehmen in der Lage sind, ihre Datensilos aufzulösen. […]

Be the first to comment

Leave a Reply

Your email address will not be published.


*