Дослідники кібербезпеки виявили серйозну вразливість у системі штучного інтелекту Google Gemini для Workspace, яка дозволяє зловмисникам проводити складні фішингові атаки через маніпулювання функцією створення резюме електронних листів. Ця загроза використовує техніку промпт-ін’єкцій, прихованих у тексті повідомлень, створюючи новий вектор для соціальної інженерії в корпоративному середовищі.
Механізм атаки через приховані промпт-ін’єкції
Уразливість була виявлена спеціалістом з інформаційної безпеки Марко Фігероа, який є менеджером програми bug bounty 0Din (0Day Investigative Network). Ця програма пошуку вразливостей у великих мовних моделях була запущена Mozilla у 2024 році та спеціалізується на дослідженні загроз у технологіях глибокого навчання.
Атака базується на впровадженні невидимих директив для ШІ-системи безпосередньо в текст електронного листа. Зловмисники використовують HTML та CSS-техніки для приховування шкідливих інструкцій, встановлюючи розмір шрифту на нуль або забарвлюючи текст у білий колір. Такі маніпуляції роблять промпт-ін’єкції повністю невидимими для людського ока при перегляді листа в Gmail.
Обхід систем захисту електронної пошти
Ключова особливість цієї атаки полягає в тому, що листи не містять традиційних індикаторів компрометації – підозрілих вкладень або шкідливих посилань. Це дозволяє повідомленням успішно проходити через фільтри безпеки та потрапляти в поштові скриньки отримувачів без блокування антиспам-системами.
Коли користувач активує функцію створення короткого резюме листа через Gemini, штучний інтелект обробляє весь текст повідомлення, включаючи приховані інструкції. В результаті ШІ слідує шкідливим директивам і генерує підроблені попередження про безпеку, які виглядають як легітимні сповіщення від Google.
Практичний приклад атаки
У демонстраційному випадку, представленому Фігероа, система Gemini створювала помилкове попередження про компрометацію пароля Gmail користувача. Повідомлення містило підроблений номер телефону служби підтримки, за яким жертва мала звернутися для “відновлення безпеки облікового запису”. Оскільки користувачі звикли довіряти результатам роботи вбудованих інструментів Google Workspace, ймовірність успішного обману значно зростає.
Методи захисту та виявлення загрози
Експерти пропонують кілька підходів для протидії подібним атакам. Перший метод включає попередню фільтрацію контенту з видаленням або нейтралізацією прихованого тексту перед обробкою ШІ-системою. Другий підхід передбачає використання фільтрів постобробки, які аналізують виведення Gemini на предмет підозрілих елементів – попереджень безпеки, URL-адрес або телефонних номерів.
Користувачам рекомендується критично оцінювати будь-які попередження про безпеку, генеровані ШІ-системами, та верифікувати їх через офіційні канали зв’язку. Особливу обережність слід проявляти при отриманні неочікуваних сповіщень про компрометацію облікових записів або необхідність термінових дій для забезпечення безпеки.
Відповідь Google на виявлену вразливість
Представники Google підтвердили отримання звіту про вразливість і заявили про роботу над посиленням захисних механізмів. У компанії відзначили проведення red team тестувань для навчання моделей протидії промпт-ін’єкціям та іншим видам маніпуляцій. При цьому Google заявила, що їм не відомі випадки практичного використання описаної вразливості в реальних атаках.
Ця вразливість демонструє зростаючу складність загроз в епоху інтеграції штучного інтелекту в корпоративні системи. Організаціям необхідно переглянути свої підходи до безпеки, враховуючи нові вектори атак через ШІ-системи, та впровадити додаткові рівні захисту для запобігання маніпуляціям з великими мовними моделями. Регулярне навчання співробітників розпізнаванню подібних загроз стає критично важливим елементом корпоративної кібербезпеки.
