Microsoft представила два відкриті інструменти — RAMPART і Clarity, призначені для тестування безпеки ІІ-агентів безпосередньо в процесі розробки. RAMPART дає змогу інженерам писати й запускати тести на стійкість агентів до атак на кшталт міжпромптових інʼєкцій та витоків даних, а Clarity допомагає командам виявляти проєктні ризики ще до написання коду. Обидва інструменти доступні на GitHub і орієнтовані на розробників, які створюють автономні ІІ-системи.
Що таке RAMPART
RAMPART (Risk Assessment and Measurement Platform for Agentic Red Teaming) — це фреймворк для тестування безпеки, побудований на базі Pytest. Він дає змогу розробникам створювати тестові сценарії, що імітують атаки на ІІ-агентів, і оцінювати результати. Серед заявлених категорій тестування:
- Міжпромптові інʼєкції (cross-prompt injections) — ситуації, коли ненадійні дані потрапляють до ІІ-системи опосередковано, через оброблювані джерела: електронну пошту, файли або вебсторінки;
- Ненавмисні поведінкові регресії — випадки, коли агент починає поводитися не так, як було задумано;
- Витік даних (data exfiltration) — несанкціонований вивід інформації із системи.
Для підключення тестованого агента до фреймворку потрібен адаптер. RAMPART оцінює результати тестів і формує звіт, охоплюючи як змагальні (adversarial), так і штатні сценарії.
Принципово важливим є позиціонування RAMPART щодо попередника — PyRIT (Python Risk Identification Tool), який Microsoft випустила понад два роки тому. За словами компанії, PyRIT оптимізований для дослідження методом «чорної скриньки» уже побудованих систем, тоді як RAMPART створений для інженерів, які працюють над системою в процесі її створення. Фактично RAMPART будується поверх PyRIT, перетворюючи результати дослідницького red teaming на відтворювані інженерні тести.
Роль Clarity у життєвому циклі розробки
Clarity розвʼязує інше завдання: це інструмент для структурованого аналізу проєктних рішень на ранніх етапах. Microsoft описує його як «партнера з мислення на основі ІІ, який заперечує» — він проводить команду через уточнення проблеми, дослідження варіантів розвʼязання, аналіз можливих відмов і фіксацію ухвалених рішень.
Ідея полягає в тому, щоб зафіксувати, чому було ухвалене конкретне рішення — наприклад, який доступ до інструментів отримує агент — до того, як систему буде побудовано. Як зазначається в анонсі, мета — дати продуктовим менеджерам та інженерам змогу перевірити свої припущення на початку проєкту, коли зміна курсу обходиться дешево.
Стратегічний контекст: від разових перевірок до безперервного процесу
Ключова ідея, що стоїть за обома інструментами, — перехід від разових аудитів безпеки ІІ до набору «живих артефактів», які супроводжують систему протягом усього життєвого циклу. Microsoft заявляє про намір зробити інциденти відтворюваними, а заходи з їх усунення — верифікованими, масштабуючи знання, отримані під час red teaming, до виконуваних інженерних активів.
Це відображає ширшу тенденцію: у міру того як ІІ-агенти отримують доступ до реальних інструментів і даних, традиційні підходи до безпеки — перевірка на фінальному етапі — стають недостатніми. Специфічні для агентів загрози, такі як міжпромптові інʼєкції, не покриваються стандартними засобами тестування безпеки застосунків.
Практичні рекомендації
- Командам, що розробляють ІІ-агентів: оцініть придатність RAMPART для інтеграції в наявний CI/CD-конвеєр. Фреймворк на базі Pytest знижує поріг входу для команд, які вже використовують Python-екосистему.
- На етапі проєктування: використовуйте Clarity для документування припущень щодо безпеки до початку реалізації — особливо тих, що стосуються доступу агентів до зовнішніх інструментів і джерел даних.
- Для наявних користувачів PyRIT: RAMPART доповнює, а не замінює PyRIT. Розгляньте звʼязку: PyRIT для дослідницького виявлення вразливостей, RAMPART — для регресійного тестування виявлених проблем.
Слід мати на увазі, що заявлені можливості обох інструментів ґрунтуються виключно на описі Microsoft — незалежна оцінка ефективності на момент публікації відсутня. Командам, які планують упровадження, рекомендується почати з пілотного тестування на некритичних агентах, оцінити якість виявлення на власних сценаріях і лише після цього масштабувати використання на продуктивні системи.
