Microsoft hat zwei Open-Source-Tools vorgestellt — RAMPART und Clarity — die für das Testen der Sicherheit von KI-Agenten direkt im Entwicklungsprozess gedacht sind. RAMPART ermöglicht es Ingenieurteams, Tests zur Robustheit von Agenten gegenüber Angriffen wie cross-prompt injections und Datenabfluss zu schreiben und auszuführen, während Clarity Teams hilft, Projektrisiken bereits vor dem ersten Code zu identifizieren. Beide Tools sind auf GitHub verfügbar und richten sich an Entwickler, die autonome KI-Systeme aufbauen.

Was RAMPART ist

RAMPART (Risk Assessment and Measurement Platform for Agentic Red Teaming) ist ein Framework für Sicherheitstests, das auf Pytest aufbaut. Es ermöglicht Entwicklern, Testszenarien zu erstellen, die Angriffe auf KI-Agenten simulieren, und die Ergebnisse auszuwerten. Zu den angegebenen Testkategorien gehören:

• Cross-prompt-Injektionen (cross-prompt injections) — Situationen, in denen nicht vertrauenswürdige Daten indirekt über verarbeitete Quellen wie E-Mails, Dateien oder Webseiten in das KI-System gelangen;
• Unbeabsichtigte Verhaltensregressionen — Fälle, in denen ein Agent sich nicht mehr wie vorgesehen verhält;
• Datenabfluss (data exfiltration) — die unautorisierte Ausgabe von Informationen aus dem System.

Für die Anbindung des zu testenden Agenten an das Framework ist ein Adapter erforderlich. RAMPART bewertet die Testergebnisse und erstellt einen Bericht, der sowohl adversarielle als auch reguläre Szenarien abdeckt.

Wesentlich ist die Positionierung im Vergleich zum Vorgänger PyRIT (Python Risk Identification Tool), den Microsoft vor mehr als zwei Jahren veröffentlicht hat. Nach Angaben des Unternehmens ist PyRIT für die Blackbox-Analyse bereits aufgebauter Systeme optimiert, während RAMPART für Ingenieure gedacht ist, die an einem System während seiner Entstehung arbeiten. Tatsächlich baut RAMPART auf PyRIT auf und verwandelt die Ergebnisse explorativen Red-Teamings in reproduzierbare Engineering-Tests.

Die Rolle von Clarity im Entwicklungslebenszyklus

Clarity adressiert eine andere Aufgabe: Es ist ein Tool für die strukturierte Analyse von Architektur- und Designentscheidungen in frühen Projektphasen. Microsoft beschreibt es als einen „widersprechenden“ KI-basierten Denksparringspartner – es führt das Team durch die Präzisierung des Problems, die Untersuchung möglicher Lösungsansätze, die Analyse potenzieller Fehlerszenarien und die Dokumentation der getroffenen Entscheidungen.

Die Idee besteht darin, festzuhalten, warum eine bestimmte Entscheidung getroffen wurde – etwa welcher Zugriff auf Tools einem Agenten gewährt wird –, bevor das System gebaut wird. Wie in der Ankündigung hervorgehoben wird, ist das Ziel, Produktmanager und Ingenieure in die Lage zu versetzen, ihre Annahmen zu Projektbeginn zu überprüfen, wenn Kurskorrekturen noch günstig sind.

Strategischer Kontext: von einmaligen Prüfungen zu einem kontinuierlichen Prozess

Die zentrale Idee hinter beiden Tools ist der Übergang von einmaligen Security-Audits für KI hin zu einem Set „lebender Artefakte“, die das System über seinen gesamten Lebenszyklus begleiten. Microsoft erklärt, man wolle Vorfälle reproduzierbar machen und Abhilfemaßnahmen verifizierbar, indem das Wissen aus Red-Teaming-Aktivitäten in ausführbare Engineering-Artefakte überführt und skaliert wird.

Dies spiegelt eine breitere Entwicklung wider: Je mehr KI-Agenten Zugriff auf reale Tools und Daten erhalten, desto unzureichender werden klassische Sicherheitsansätze, die vor allem auf Prüfungen am Projektende setzen. Spezifische Bedrohungen für Agenten wie cross-prompt injections werden von herkömmlichen Werkzeugen für das Testen der Anwendungssicherheit nicht abgedeckt.

Praktische Empfehlungen

• Teams, die KI-Agenten entwickeln: Prüfen Sie, inwieweit sich RAMPART für die Integration in Ihre bestehende CI/CD-Pipeline eignet. Das auf Pytest basierende Framework senkt die Einstiegshürde für Teams, die bereits im Python-Ökosystem arbeiten.
• In der Entwurfsphase: Nutzen Sie Clarity, um Sicherheitsannahmen noch vor Beginn der Implementierung zu dokumentieren – insbesondere solche zum Zugriff der Agenten auf externe Tools und Datenquellen.
• Für bestehende PyRIT-Nutzer: RAMPART ergänzt PyRIT, ersetzt es aber nicht. Ziehen Sie eine Kombination in Betracht: PyRIT für das explorative Auffinden von Schwachstellen, RAMPART für Regressionstests der identifizierten Probleme.

Zu beachten ist, dass die beschriebenen Fähigkeiten beider Tools ausschließlich auf den Angaben von Microsoft basieren – zum Zeitpunkt der Veröffentlichung liegt keine unabhängige Bewertung ihrer Wirksamkeit vor. Teams, die eine Einführung planen, sollten mit Pilotprojekten auf nicht kritischen Agenten beginnen, die Qualität der Erkennung anhand eigener Szenarien bewerten und den Einsatz erst danach auf produktive Systeme ausweiten.