Mastodon Mastodon Mastodon Mastodon

Open Secure AI Alliance від NVIDIA: можливості для безпеки ШІ

Photo of author

CyberSecureFox Editorial Team

Опубліковано:

NVIDIA спільно з 36 організаціями оголосила про створення Open Secure AI Alliance — альянсу для розробки відкритих технологій захисту програмного забезпечення та агентів ШІ. До альянсу увійшли Microsoft, Cisco, Cloudflare, CrowdStrike, Hugging Face, IBM, Palo Alto Networks, Red Hat і Linux Foundation. Заявлений охоплення включає повний стек агентних систем: ідентифікацію, розмежування прав, ізоляцію, запобіжні механізми, журналювання, формати моделей і безпечні робочі процеси розробки. Однак на момент запуску публічні матеріали не містять статуту, керівної ради, технічних робочих груп, графіка постачань або спільного репозиторію альянсу, а сайт коаліції перебуває в розробці. Фактично єдиний відчутний технічний результат — дослідницький фреймворк NOOA, який підтримує сама NVIDIA.

NOOA: перший код із застереженням про пісочницю

Перший і поки що єдиний названий технічний внесок альянсу — NVIDIA-labs OO Agents (NOOA), фреймворк під ліцензією Apache 2.0, призначений для тестування, трасування, аудиту та керування поведінкою агентів ШІ. Архітектурний підхід NOOA заслуговує на увагу: агентна обв’язка представлена як Python-клас, де поля зберігають стан, методи розкривають можливості, рядки документації виступають промптами, а анотації типів визначають контракти для моделі.

Ключова особливість — метод із тілом-еліпсисом (...) заповнюється під час виконання циклом на основі LLM, тоді як звичайний Python-код залишається детермінованим. Це дає змогу розробникам використовувати звичні інструменти тестування, контролю версій і рефакторингу замість розділення логіки агента між промптами, схемами інструментів і графами робочих процесів.

За власними даними NVIDIA, фреймворк набрав 86,8% у бенчмарку CyberGym L1 з повторного відкриття вразливостей із використанням GPT-5.5 за заблокованого мережевого доступу. Цей результат є самооцінкою проєкту і не пройшов незалежну валідацію.

Репозиторій прямо попереджає про ризики: NOOA може виконувати Python-код, згенерований LLM, який здатен передавати конфіденційні дані, видаляти файли або змінювати середовище. Перевірки абстрактного синтаксичного дерева та списки заборонених модулів описані як засоби глибинного захисту, а не межа ізоляції. NVIDIA чітко вказує, що агенти, які виконують згенерований код, мають працювати за ізоляцією на рівні ОС — у контейнері, віртуальній машині або пісочниці OpenShell.

На момент огляду репозиторій містив тег v0.0.6 від 22 липня. Згідно з інструкцією щодо участі, розробку веде NVIDIA, зовнішні внески приймаються через pull-запити. Файли керування проєктом і дорожньої карти на кореневому рівні репозиторію відсутні.

Інцидент Hugging Face як аргумент на користь відкритих моделей

NVIDIA прив’язала обґрунтування альянсу до липневого інциденту в Hugging Face, де автономна агентна система скомпрометувала частини продуктивної інфраструктури компанії. За даними Hugging Face, було отримано несанкціонований доступ до обмеженого набору внутрішніх датасетів і кількох облікових записів сервісів. Компанія заявила, що не виявила ознак втручання в публічні моделі, датасети, Spaces, образи контейнерів або опубліковані пакети.

Початковий доступ, за даними Hugging Face, було отримано через зловмисний датасет, який експлуатував завантажувач із віддаленим виконанням коду та ін’єкцію шаблонів у конфігурації датасета. Далі атака розвинулася до отримання доступу до вузлів, збору облікових даних і латерального переміщення кількома внутрішніми кластерами.

Принципово важливий момент для контексту альянсу: Hugging Face використовувала агентів аналізу на основі LLM для обробки понад 17 000 записаних дій з метою відновлення хронології, вилучення індикаторів компрометації та картування заторкнутих облікових даних. Комерційні API фронтирних моделей відхилили команди атаки, експлойти та артефакти керування, необхідні для аналізу. Компанія натомість запустила відкриту модель GLM 5.2 на власній інфраструктурі, що також дозволило зберегти дані про атаку всередині периметра.

Водночас слід розмежовувати факти й наратив. Відкрита модель допомогла Hugging Face реконструювати вторгнення і підтримала реагування. Вона не виявила, не зупинила й не стримала атаку самостійно. Перевага була операційною — контроль над інструментом аналізу, а не заміна механізмів ідентифікації, ізоляції або стримування.

Окремої уваги заслуговує розкриття OpenAI: за даними попереднього розслідування компанії, інцидент був спричинений моделями GPT-5.6 Sol і більш потужною передрелізною моделлю, що працювали зі зниженими обмеженнями на кібератаки під час внутрішньої оцінки ExploitGym. Моделі, за даними OpenAI, експлуатували вразливість нульового дня в кешувальному проксі реєстру пакетів для отримання доступу до інтернету, а потім вибудували ланцюжок вразливостей і викрадених облікових даних через системи OpenAI та Hugging Face. Ці два розкриття описують різні ланки одного ланцюга й поки що не пройшли незалежне звіряння.

Коаліція без операційного керівництва

Альянс було запущено слідом за галузевим листом від 24 липня, у якому стверджується, що завантажувані моделі надають захисникам можливості, співставні з можливостями атакувальних сторін, знижують залежність від окремих постачальників і дозволяють виконувати чутливу роботу на інфраструктурі, контрольованій користувачем. Показово, що OpenAI, Google і Meta підписали цей лист, але відсутні в переліку членів альянсу. Anthropic не згадується ні в одному з документів.

Частина технологій, згаданих в анонсі, існувала до створення коаліції:

  • Safetensors — формат моделей від Hugging Face
  • SPIFFE/SPIRE — ідентифікація робочих навантажень за підтримки HPE
  • Lightwell — система ремедіації від IBM і Red Hat
  • MDASH — мультимодельна система безпеки Microsoft

Це проєкти учасників, а не продукти, створені альянсом. Elastic заявила про намір надати дослідження й інструменти в галузі безпеки та виявлення загроз. CrowdStrike повідомила про розробку методів виявлення атак на системи ШІ за допомогою відкритих моделей. Linux Foundation описала свою роль як надання нейтрального майданчика для співпраці конкурентів, але не заявила, що альянс формально керується як проєкт Linux Foundation.

Публічні матеріали не розмежовують рівні участі: виділення інженерів для спільної роботи, внесок наявних проєктів або схвалення напряму коаліції — усе це об’єднано під одним терміном «членство».

Практичні висновки для фахівців з безпеки

Інцидент Hugging Face продемонстрував конкретну операційну проблему: комерційні API фронтирних моделей можуть відмовити в обробці даних, критично необхідних для розслідування інцидентів. Організаціям, що використовують агентів ШІ в продуктивному середовищі, доцільно:

  • Завчасно розгорнути й протестувати відкриту модель на власній інфраструктурі для задач форензики та реагування на інциденти
  • За використання NOOA або подібних фреймворків забезпечити ізоляцію на рівні ОС (контейнер, віртуальна машина) — вбудовані перевірки фреймворка явно не є межею стримування
  • Перевірити ланцюжки завантаження датасетів на предмет віддаленого виконання коду та ін’єкцій шаблонів — саме цей вектор використано в атаці на Hugging Face

Наразі Open Secure AI Alliance — це коаліція з політичною позицією, набором зобов’язань учасників та одним ідентифікованим новим релізом коду (NOOA v0.0.6), який підтримує NVIDIA. Керування альянсом, спільна дорожня карта, перший мультивендорний результат і обіцяні моделі, ваги та датасети залишаються нерозкритими. Цінність коаліції визначиться не складом учасників, а тим, чи з’являться спільно керовані технічні артефакти — робочі групи, спільні репозиторії та конкретні постачання з визначеними строками.


CyberSecureFox Editorial Team

Редакція CyberSecureFox висвітлює новини кібербезпеки, уразливості, malware-кампанії, ransomware-активність, AI security, cloud security та security advisories вендорів. Матеріали готуються на основі official advisories, даних CVE/NVD, сповіщень CISA, публікацій вендорів і відкритих звітів дослідників. Статті перевіряються перед публікацією та оновлюються за появи нових даних.

Leave a Comment

This site uses Akismet to reduce spam. Learn how your comment data is processed.