Команда Google Threat Intelligence Group (GTIG) опубликовала подробный отчет о том, как злоумышленники систематически используют большую языковую модель Gemini в реальных кибератаках. По данным компании, ИИ задействуется на всех стадиях атак — от первоначальной разведки и социальной инженерии до разработки инфраструктуры и эксфильтрации данных. Отдельный тревожный вектор — попытки дистилляции модели через массовые запросы с целью создания более дешевых клонов.
Массовая дистилляция Google Gemini: новая угроза интеллектуальной собственности
GTIG зафиксировала случаи, когда злоумышленники пытались извлечь знания из Gemini с помощью масштабной автоматизированной рассылки запросов. В одном из эпизодов атакующие отправили модели более 100 000 промптов на разных языках, а затем собирали ответы для обучения собственной модели, имитирующей поведение Gemini.
Что такое дистилляция LLM и почему это опасно
Дистилляция LLM — это техника, при которой одна модель (часто меньшего размера) обучается на выходах более мощной модели. Вместо того чтобы инвестировать миллиарды долларов и годы вычислительного времени в обучение собственной большой языковой модели, злоумышленники используют уже готовый ИИ как «учителя» и обходят самые дорогие этапы R&D.
Такая практика создает серьезные риски для защиты интеллектуальной собственности и подрывает конкурентные преимущества компаний, вкладывающихся в разработку LLM. Полученная «облегченная» модель может:
— частично воспроизводить логику принятия решений оригинала;
— быть развернута автономно, без встроенных механизмов безопасности вендора;
— использоваться для генерации вредоносного кода, фишинговых сообщений и обхода средств защиты без контроля со стороны разработчика исходной модели.
Государственные APT‑группы: ИИ в службе разведки, фишинга и эксплуатации уязвимостей
По информации GTIG, государственно аффилированные хак-группы из Китая, Ирана, Северной Кореи и России активно применяют Gemini для повышения эффективности своих киберопераций. В отчете упоминаются, в частности, китайские APT31 (Temp.HEX), иранская APT42 и северокорейская UNC2970.
Китайские группы: автоматизация анализа уязвимостей и Hexstrike MCP
Один из примеров, описанных Google: злоумышленники из китайской экосистемы APT выдавали себя за специалистов по информационной безопасности и обращались к Gemini в рамках якобы «учебных» сценариев. Они запрашивали автоматизацию анализа уязвимостей и формирование целевых планов тестирования для конкретных систем.
GTIG отмечает, что одна из групп экспериментировала с инструментарием Hexstrike MCP и просила модель помочь с:
— анализом сценариев удаленного выполнения кода (RCE);
— поиском техник обхода веб‑фаерволов (WAF bypass);
— разбором результатов SQL‑инъекций против отдельных американских целей.
Иранская APT42: социальная инженерия и разработка кастомной малвари
Группа APT42, связанная с Ираном, использовала большую языковую модель как платформу ускоренной разработки вредоносных инструментов. По данным GTIG, ИИ применялся для:
— подготовки правдоподобных фишинговых писем и сценариев социальной инженерии;
— генерации и отладки кода;
— изучения техник эксплуатации уязвимостей и интеграции их в собственный инструментарий.
Аналитики также сообщают о вовлечении северокорейских и российских структур, которые задействуют Gemini для разведки целей, построения командно‑контрольной инфраструктуры и оптимизации процессов кражи данных.
ИИ в разработке малвари: CoinBait и HonestCue
CoinBait: фишинговый крипто‑обменник на React с следами LLM
GTIG описывает CoinBait как фишинговый набор (phishing kit), реализованный в формате single-page application на базе React. Он маскируется под легитимный криптовалютный обменник и предназначен для сбора учетных данных пользователей.
Исследователи обнаружили в коде CoinBait признаки, указывающие на использование генеративного ИИ при разработке. В частности, обращают на себя внимание лог‑сообщения с префиксом «Analytics:», характерные для автоматизированной генерации. Дополнительные артефакты позволяют предположить, что проект создавался с применением платформы Lovable AI: злоумышленники использовали клиент Lovable Supabase и приложение lovable.app.
HonestCue: PoC‑загрузчик, генерирующий «вторую стадию» через Gemini API
Другой выявленный пример — загрузчик HonestCue, описанный GTIG как proof‑of‑concept фреймворк. Он интегрирован с Gemini API и автоматически генерирует код на C# для второй стадии заражения.
Схема работы HonestCue включает:
— обращение к API Gemini для генерации C#‑модуля второй стадии;
— компиляцию сгенерированного кода «на лету»;
— выполнение полезной нагрузки в памяти, что усложняет детектирование традиционными антивирусами и EDR‑решениями.
Ответ Google и ключевые выводы для рынка кибербезопасности
Google подчеркивает, что аккаунты и инфраструктура всех выявленных злоумышленников уже заблокированы. Дополнительно были усилены механизмы защиты: обновлены классификаторы, внедрены новые политики фильтрации промптов и ответов, а также доработаны системы обнаружения аномальной активности, включая массовые попытки дистилляции.
Ситуация вокруг злоупотреблений Gemini демонстрирует важный тренд: генеративный ИИ становится не только инструментом защиты, но и мощным усилителем атакующих. Организациям стоит:
— пересмотреть модели угроз с учетом сценариев злоупотребления LLM;
— внедрить корпоративные политики безопасного использования ИИ‑сервисов;
— отслеживать аномальные запросы к внутренним и внешним LLM‑API;
— регулярно обучать сотрудников рискам фишинга и социальной инженерии, усиленных ИИ.
По мере того как большие языковые модели становятся стандартным инструментом в рабочих процессах, их безопасность и защита от дистилляции, утечки знаний и злоупотребления должны рассматриваться на одном уровне важности с традиционными мерами кибербезопасности. Инвестиции в защиту ИИ‑инфраструктуры сегодня напрямую влияют на устойчивость бизнеса к киберугрозам завтра.
