Исследователи кибербезопасности выявили критическую уязвимость в системе искусственного интеллекта Google Gemini для Workspace, которая позволяет злоумышленникам проводить сложные фишинговые атаки через манипулирование функцией создания резюме электронных писем. Данная угроза использует технику инъекций промптов, скрытых в тексте сообщений, что создает новый вектор для социальной инженерии в корпоративной среде.
Механизм атаки через скрытые промпт-инъекции
Уязвимость была обнаружена специалистом по информационной безопасности Марко Фигероа, который является менеджером программы bug bounty 0Din (0Day Investigative Network). Эта программа поиска уязвимостей в больших языковых моделях была запущена Mozilla в 2024 году и специализируется на исследовании угроз в технологиях глубокого обучения.
Атака основывается на внедрении невидимых директив для ИИ-системы непосредственно в текст электронного письма. Злоумышленники используют HTML и CSS-техники для сокрытия вредоносных инструкций, устанавливая размер шрифта на ноль или окрашивая текст в белый цвет. Такие манипуляции делают промпт-инъекции полностью невидимыми для человеческого глаза при просмотре письма в Gmail.
Обход систем защиты электронной почты
Ключевая особенность данной атаки заключается в том, что письма не содержат традиционных индикаторов компрометации — подозрительных вложений или вредоносных ссылок. Это позволяет сообщениям успешно проходить через фильтры безопасности и попадать в почтовые ящики получателей без блокировки антиспам-системами.
Когда пользователь активирует функцию создания краткого резюме письма через Gemini, искусственный интеллект обрабатывает весь текст сообщения, включая скрытые инструкции. В результате ИИ следует вредоносным директивам и генерирует поддельные предупреждения о безопасности, которые выглядят как легитимные уведомления от Google.
Практический пример атаки
В демонстрационном случае, представленном Фигероа, система Gemini создавала ложное предупреждение о компрометации пароля Gmail пользователя. Сообщение содержало поддельный номер телефона службы поддержки, по которому жертва должна была обратиться для «восстановления безопасности аккаунта». Поскольку пользователи привыкли доверять результатам работы встроенных инструментов Google Workspace, вероятность успешного обмана значительно возрастает.
Методы защиты и обнаружения угрозы
Эксперты предлагают несколько подходов для противодействия подобным атакам. Первый метод включает предварительную фильтрацию контента с удалением или нейтрализацией скрытого текста перед обработкой ИИ-системой. Второй подход предусматривает использование фильтров постобработки, которые анализируют выводы Gemini на предмет подозрительных элементов — предупреждений безопасности, URL-адресов или телефонных номеров.
Пользователям рекомендуется критически оценивать любые предупреждения о безопасности, генерируемые ИИ-системами, и верифицировать их через официальные каналы связи. Особую осторожность следует проявлять при получении неожиданных уведомлений о компрометации учетных записей или необходимости срочных действий для обеспечения безопасности.
Ответ Google на выявленную уязвимость
Представители Google подтвердили получение отчета об уязвимости и заявили о работе над усилением защитных механизмов. В компании отметили проведение red team тестирований для обучения моделей противодействию промпт-инъекциям и другим видам манипуляций. При этом Google заявила, что им не известны случаи практического использования описанной уязвимости в реальных атаках.
Данная уязвимость демонстрирует растущую сложность угроз в эпоху интеграции искусственного интеллекта в корпоративные системы. Организациям необходимо пересмотреть свои подходы к безопасности, учитывая новые векторы атак через ИИ-системы, и внедрить дополнительные уровни защиты для предотвращения манипуляций с большими языковыми моделями. Регулярное обучение сотрудников распознаванию подобных угроз становится критически важным элементом корпоративной кибербезопасности.
