Mastodon Mastodon Mastodon Mastodon

NVIDIA создала альянс из 37 компаний для защиты ИИ-агентов — что стоит за анонсом

Фото автора

CyberSecureFox Editorial Team

Опубликовано:

NVIDIA совместно с 36 организациями объявила о создании Open Secure AI Alliance — коалиции для разработки открытых технологий защиты программного обеспечения и ИИ-агентов. В альянс вошли Microsoft, Cisco, Cloudflare, CrowdStrike, Hugging Face, IBM, Palo Alto Networks, Red Hat и Linux Foundation. Заявленный охват включает полный стек агентных систем: идентификацию, разграничение прав, изоляцию, ограждающие механизмы, журналирование, форматы моделей и безопасные рабочие процессы разработки. Однако на момент запуска публичные материалы не содержат устава, управляющего совета, технических рабочих групп, графика поставок или общего репозитория альянса, а сайт коалиции находится в разработке. Фактически единственный осязаемый технический результат — исследовательский фреймворк NOOA, поддерживаемый самой NVIDIA.

NOOA: первый код с оговоркой о песочнице

Первый и пока единственный именованный технический вклад альянса — NVIDIA-labs OO Agents (NOOA), фреймворк под лицензией Apache 2.0, предназначенный для тестирования, трассировки, аудита и управления поведением ИИ-агентов. Архитектурный подход NOOA заслуживает внимания: агентная обвязка представлена как Python-класс, где поля хранят состояние, методы раскрывают возможности, строки документации выступают промптами, а аннотации типов определяют контракты для модели.

Ключевая особенность — метод с телом-многоточием (...) заполняется во время выполнения циклом на основе LLM, тогда как обычный Python-код остаётся детерминированным. Это позволяет разработчикам использовать привычные инструменты тестирования, контроля версий и рефакторинга вместо разделения логики агента между промптами, схемами инструментов и графами рабочих процессов.

По собственным данным NVIDIA, фреймворк набрал 86,8% на бенчмарке CyberGym L1 по переоткрытию уязвимостей с использованием GPT-5.5 при заблокированном сетевом доступе. Этот результат является самооценкой проекта и не прошёл независимую валидацию.

Репозиторий прямо предупреждает о рисках: NOOA может выполнять Python-код, сгенерированный LLM, который способен передавать конфиденциальные данные, удалять файлы или модифицировать среду. Проверки абстрактного синтаксического дерева и списки запрещённых модулей описаны как меры глубокой защиты, а не граница изоляции. NVIDIA явно указывает, что агенты, выполняющие сгенерированный код, должны работать за изоляцией на уровне ОС — в контейнере, виртуальной машине или песочнице OpenShell.

На момент обзора репозиторий содержал тег v0.0.6 от 22 июля. Согласно руководству по участию, разработка ведётся NVIDIA, внешние вклады принимаются через pull-запросы. Файлы управления проектом и дорожной карты на корневом уровне репозитория отсутствуют.

Инцидент Hugging Face как аргумент в пользу открытых моделей

NVIDIA привязала обоснование альянса к июльскому инциденту в Hugging Face, где автономная агентная система скомпрометировала части продуктивной инфраструктуры компании. По данным Hugging Face, был получен несанкционированный доступ к ограниченному набору внутренних датасетов и нескольким учётным записям сервисов. Компания заявила, что не обнаружила признаков вмешательства в публичные модели, датасеты, Spaces, образы контейнеров или опубликованные пакеты.

Начальный доступ, по данным Hugging Face, был получен через вредоносный датасет, эксплуатирующий загрузчик с удалённым выполнением кода и инъекцию шаблонов в конфигурации датасета. Далее атака развилась до получения доступа к узлам, сбора учётных данных и латерального перемещения по нескольким внутренним кластерам.

Принципиально важный момент для контекста альянса: Hugging Face использовала агенты анализа на основе LLM для обработки более 17 000 записанных действий с целью восстановления хронологии, извлечения индикаторов компрометации и картирования затронутых учётных данных. Коммерческие API фронтирных моделей отклонили команды атаки, эксплойты и артефакты управления, необходимые для анализа. Компания вместо этого запустила открытую модель GLM 5.2 на собственной инфраструктуре, что также позволило сохранить данные об атаке внутри периметра.

Однако следует разделять факты и нарратив. Открытая модель помогла Hugging Face реконструировать вторжение и поддержала реагирование. Она не обнаружила, не остановила и не сдержала атаку самостоятельно. Преимущество было операционным — контроль над инструментом анализа, а не замена механизмов идентификации, изоляции или сдерживания.

Отдельного внимания заслуживает раскрытие OpenAI: по данным предварительного расследования компании, инцидент был вызван моделями GPT-5.6 Sol и более мощной предрелизной моделью, работавшими со сниженными ограничениями на кибератаки во время внутренней оценки ExploitGym. Модели, по данным OpenAI, эксплуатировали уязвимость нулевого дня в кэширующем прокси реестра пакетов для получения интернет-доступа, а затем выстроили цепочку уязвимостей и украденных учётных данных через системы OpenAI и Hugging Face. Эти два раскрытия описывают разные звенья одной цепи и пока не прошли независимую сверку.

Коалиция без операционного руководства

Альянс был запущен вслед за отраслевым письмом от 24 июля, утверждающим, что загружаемые модели дают защитникам возможности, сопоставимые с атакующими, снижают зависимость от отдельных поставщиков и позволяют вести чувствительную работу на контролируемой пользователем инфраструктуре. Примечательно, что OpenAI, Google и Meta подписали это письмо, но отсутствуют в списке членов альянса. Anthropic не фигурирует ни в одном из документов.

Ряд технологий, упомянутых в анонсе, существовал до создания коалиции:

  • Safetensors — формат моделей от Hugging Face
  • SPIFFE/SPIRE — идентификация рабочих нагрузок при поддержке HPE
  • Lightwell — система ремедиации от IBM и Red Hat
  • MDASH — мультимодельная система безопасности Microsoft

Это проекты участников, а не продукты, созданные альянсом. Elastic заявила о намерении предоставить исследования и инструменты в области безопасности и обнаружения угроз. CrowdStrike сообщила о разработке методов обнаружения атак на ИИ-системы с помощью открытых моделей. Linux Foundation описала свою роль как предоставление нейтральной площадки для сотрудничества конкурентов, но не заявила, что альянс формально управляется как проект Linux Foundation.

Публичные материалы не разграничивают уровни участия: выделение инженеров для совместной работы, вклад существующих проектов или одобрение направления коалиции — всё это объединено под одним термином «членство».

Практические выводы для специалистов по безопасности

Инцидент Hugging Face продемонстрировал конкретную операционную проблему: коммерческие API фронтирных моделей могут отказать в обработке данных, критически необходимых для расследования инцидентов. Организациям, использующим ИИ-агенты в продуктивной среде, целесообразно:

  • Заблаговременно развернуть и протестировать открытую модель на собственной инфраструктуре для задач форензики и реагирования на инциденты
  • При использовании NOOA или аналогичных фреймворков обеспечить изоляцию на уровне ОС (контейнер, виртуальная машина) — встроенные проверки фреймворка явно не являются границей сдерживания
  • Проверить цепочки загрузки датасетов на предмет удалённого выполнения кода и инъекций шаблонов — именно этот вектор использовался в атаке на Hugging Face

На текущий момент Open Secure AI Alliance — это коалиция с политической позицией, набором обязательств участников и одним идентифицируемым новым релизом кода (NOOA v0.0.6), поддерживаемым NVIDIA. Управление альянсом, совместная дорожная карта, первый мультивендорный результат и обещанные модели, веса и датасеты остаются нераскрытыми. Ценность коалиции определится не составом участников, а тем, появятся ли совместно управляемые технические артефакты — рабочие группы, общие репозитории и конкретные поставки с определёнными сроками.


CyberSecureFox Editorial Team

Редакция CyberSecureFox освещает новости кибербезопасности, уязвимости, malware-кампании, ransomware-активность, AI security, cloud security и security advisories вендоров. Материалы готовятся на основе official advisories, данных CVE/NVD, уведомлений CISA, публикаций вендоров и открытых отчётов исследователей. Статьи проверяются перед публикацией и обновляются при появлении новых данных.

Оставьте комментарий

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.