Microsoft представила два открытых инструмента — RAMPART и Clarity — предназначенных для тестирования безопасности ИИ-агентов непосредственно в процессе разработки. RAMPART позволяет инженерам писать и запускать тесты на устойчивость агентов к атакам вроде межпромптовых инъекций и утечек данных, а Clarity помогает командам выявлять проектные риски ещё до написания кода. Оба инструмента доступны на GitHub и ориентированы на разработчиков, создающих автономные ИИ-системы.
Что представляет собой RAMPART
RAMPART (Risk Assessment and Measurement Platform for Agentic Red Teaming) — это фреймворк для тестирования безопасности, построенный на базе Pytest. Он позволяет разработчикам создавать тестовые сценарии, имитирующие атаки на ИИ-агентов, и оценивать результаты. Среди заявленных категорий тестирования:
- Межпромптовые инъекции (cross-prompt injections) — ситуации, когда недоверенные данные попадают в ИИ-систему опосредованно, через обрабатываемые источники: электронную почту, файлы или веб-страницы;
- Непреднамеренные поведенческие регрессии — случаи, когда агент начинает вести себя не так, как задумано;
- Утечка данных (data exfiltration) — несанкционированный вывод информации из системы.
Для подключения тестируемого агента к фреймворку требуется адаптер. RAMPART оценивает результаты тестов и формирует отчёт, покрывая как состязательные (adversarial), так и штатные сценарии.
Принципиально важно позиционирование относительно предшественника — PyRIT (Python Risk Identification Tool), который Microsoft выпустила более двух лет назад. По словам компании, PyRIT оптимизирован для исследования методом чёрного ящика уже построенных систем, тогда как RAMPART создан для инженеров, работающих над системой в процессе её создания. Фактически RAMPART строится поверх PyRIT, превращая результаты исследовательского red teaming в воспроизводимые инженерные тесты.
Роль Clarity в жизненном цикле разработки
Clarity решает другую задачу: это инструмент для структурированного анализа проектных решений на ранних этапах. Microsoft описывает его как «партнёра по мышлению на базе ИИ, который возражает» — он проводит команду через уточнение проблемы, исследование вариантов решения, анализ возможных отказов и фиксацию принятых решений.
Идея состоит в том, чтобы зафиксировать почему было принято конкретное решение — например, какой доступ к инструментам получает агент — до того, как система будет построена. Как отмечается в анонсе, цель — дать продуктовым менеджерам и инженерам возможность проверить свои допущения в начале проекта, когда изменение курса обходится дёшево.
Стратегический контекст: от разовых проверок к непрерывному процессу
Ключевая идея, стоящая за обоими инструментами, — переход от разовых аудитов безопасности ИИ к набору «живых артефактов», сопровождающих систему на протяжении всего жизненного цикла. Microsoft заявляет о намерении сделать инциденты воспроизводимыми, а меры по их устранению — верифицируемыми, масштабируя знания, полученные в ходе red teaming, в исполняемые инженерные активы.
Это отражает более широкую тенденцию: по мере того как ИИ-агенты получают доступ к реальным инструментам и данным, традиционные подходы к безопасности — проверка на финальном этапе — становятся недостаточными. Специфические для агентов угрозы, такие как межпромптовые инъекции, не покрываются стандартными средствами тестирования безопасности приложений.
Практические рекомендации
- Командам, разрабатывающим ИИ-агентов: оцените применимость RAMPART для интеграции в существующий CI/CD-конвейер. Фреймворк на базе Pytest снижает порог входа для команд, уже использующих Python-экосистему.
- На этапе проектирования: используйте Clarity для документирования допущений о безопасности до начала реализации — особенно касающихся доступа агентов к внешним инструментам и источникам данных.
- Для существующих пользователей PyRIT: RAMPART дополняет, а не заменяет PyRIT. Рассмотрите связку: PyRIT для исследовательского обнаружения уязвимостей, RAMPART для регрессионного тестирования найденных проблем.
Следует учитывать, что заявленные возможности обоих инструментов основаны исключительно на описании Microsoft — независимая оценка эффективности на момент публикации отсутствует. Командам, планирующим внедрение, рекомендуется начать с пилотного тестирования на некритичных агентах, оценить качество обнаружения на собственных сценариях и только после этого масштабировать использование на продуктивные системы.
