Schutz für KI-Anwendungen vor Prompt-Injection-Angriffen

Microsoft hat neue Sicherheitsmaßnahmen für den Semantic Kernel vorgestellt, die Entwicklern helfen sollen, Prompt-Injection-Angriffe zu verhindern. [...]

Prompt-Injection-Angriffe stellen eine ernsthafte Bedrohung für Anwendungen dar, die automatisierte Chat-Prompts verwenden. (c) stock.adobe.com/Zsolt Bota Finna

Prompt-Injection-Angriffe stellen eine ernsthafte Bedrohung für Anwendungen dar, die automatisierte Chat-Prompts verwenden. Mit dem Ziel, diese Bedrohung zu minimieren, verfolgt Microsoft einen Zero-Trust-Ansatz, bei dem jeder Eingabewert zunächst als unsicher behandelt wird. Dies bedeutet, dass alle in Prompts eingefügten Inhalte standardmäßig codiert werden, um schädliche Eingaben zu verhindern.

Ein Beispiel für eine potenzielle Sicherheitslücke wären Benutzereingaben, die möglicherweise bösartigen Code enthalten. Microsoft hat mehrere Strategien entwickelt, um eine derartige Infiltration zu verhindern.

Entwickler sind jetzt in der Lage, Eingangsvariablen und Rückgabewerte von Funktionen so zu konfigurieren, dass sie entweder als sicher oder unsicher betrachtet werden. Standardmäßig wird der Inhalt einer Eingangsvariablen HTML-codiert, was zur Sicherheit der Anwendung beiträgt. Jedoch können Entwickler auch opt-in-Optionen nutzen, wenn sie davon überzeugt sind, dass bestimmte Inhalte sicher sind.

Die neue Sicherheitsschicht umfasst auch die Integration von Tools wie Prompt Shields, die speziell entwickelt wurden, um gegen Prompt-Injection-Angriffe zu schützen. Prompt Shields ist ein API, das Eingaben an Large Language Models analysiert und Angriffe erkennt.

Ein weiteres Plus ist die Dokumentation sowie Beispiele, die Microsoft zur Verfügung stellt, um Entwicklern einen klaren Überblick über die Implementierung dieser Sicherheitsmaßnahmen zu geben. Künftige Updates und Blogbeiträge sind in Planung, um die Community über die fortlaufenden Entwicklungen im Bereich der Sicherheitsprotokolle auf dem Laufenden zu halten.

Weitere Infos gibt es im englischsprachigen Blogeintrag.


Mehr Artikel

News

6 Grundsätze für eine KI-taugliche Datenbasis

Wer Künstliche Intelligenz nutzen will, muss über eine vertrauenswürdige Datengrundlage verfügen. Daten sind das Lebenselixier von KI-Systemen und bestimmen maßgeblich die Qualität und Zuverlässigkeit der Ergebnisse. Nur so können KI-Modelle robust, anpassungsfähig und vertrauenswürdig arbeiten. […]

News

Cybersicherheitsbudgets werden falsch priorisiert

Der ICS/OT Cybersecurity Budget Report 2025 von OPSWAT deckt erhebliche Lücken in den Cybersicherheitsbudgets sowie einen Anstieg von ICS/OT-fokussierten Angriffen auf. Ferner wird deutlich, wie durch eine unzureichende Finanzierung, falsch gesetzte Prioritäten und uneinheitliche Abwehrmaßnahmen kritische Infrastrukturen immer raffinierteren Bedrohungen ausgesetzt sind. […]

News

Nach dem Hype: Diese vier KI-Trends werden 2025 weiterhin prägen

Die vergangenen zwei Jahre haben einen regelrechten KI-Boom erlebt. Insbesondere generative Modelle (GenAI) haben sich rasant weiterentwickelt und etablieren sich zunehmend als feste Größe in den Arbeitsprozessen von Organisationen weltweit. Angesichts dieser Dynamik fragen sich nun viele Unternehmen, welche Entwicklungen das Jahr 2025 bestimmen werden und welche Potenziale sich daraus ergeben. […]

News

Generative KI als Sicherheitsrisiko

Eine neue Studie von Netskope zeigt einen 30-fachen Anstieg der Daten, die von Unternehmensanwendern im letzten Jahr an GenAI-Apps (generative KI) gesendet wurden. Dazu gehören sensible Daten wie Quellcode, regulierte Daten, Passwörter und Schlüssel sowie geistiges Eigentum. Dies erhöht das Risiko von kostspieligen Sicherheitsverletzungen, Compliance-Verstößen und Diebstahl geistigen Eigentums erheblich. […]

Be the first to comment

Leave a Reply

Your email address will not be published.


*