В мире искусственного интеллекта и кибербезопасности произошло значимое событие: исследователь Марко Фигероа обнаружил способы обхода защитных механизмов модели OpenAI GPT-4o. Это открытие поднимает важные вопросы о безопасности современных AI-систем и потенциальных рисках их использования.
Новые методы обхода защиты ChatGPT-4o
Фигероа продемонстрировал две эффективные техники преодоления ограничений ChatGPT-4o:
1. Использование шестнадцатеричного формата
Исследователь успешно обошел защиту, кодируя вредоносные инструкции в шестнадцатеричном формате. Этот метод позволил ChatGPT-4o генерировать потенциально опасный код, включая эксплоиты для известных уязвимостей. Примечательно, что сгенерированный AI эксплоит оказался практически идентичен реальному PoC-коду, созданному человеком.
2. Маскировка с помощью эмодзи
Вторая техника включала использование эмодзи для маскировки вредоносных промптов. Этот метод также успешно преодолел защитные механизмы ChatGPT-4o, позволив создавать потенциально опасные элементы, такие как SQL-инъекции.
Значение открытия для кибербезопасности
Обнаруженные уязвимости подчеркивают необходимость усиления мер безопасности в AI-моделях, особенно в области обработки закодированных инструкций. Несмотря на высокую продвинутость таких систем, как ChatGPT-4o, они все еще уязвимы к хитроумным методам обхода защиты.
Программа bug bounty 0Din
Открытие Фигероа было сделано в рамках программы вознаграждения за уязвимости 0Din, запущенной Mozilla. Эта инициатива направлена на выявление проблем в больших языковых моделях (LLM) и других технологиях глубокого обучения. Программа предлагает вознаграждения до 15 000 долларов за критические уязвимости, стимулируя исследователей к поиску и раскрытию потенциальных угроз в AI-системах.
Реакция OpenAI и перспективы
На момент публикации джейлбрейки, обнаруженные Фигероа, уже не воспроизводятся в ChatGPT-4o, что указывает на оперативное исправление уязвимостей компанией OpenAI. Этот случай демонстрирует важность постоянного мониторинга и обновления систем безопасности AI-моделей.
Открытие Марко Фигероа служит важным напоминанием о необходимости бдительности в сфере AI и кибербезопасности. Оно подчеркивает важность непрерывного исследования и совершенствования защитных механизмов AI-систем. Организациям и разработчикам следует уделять повышенное внимание безопасности при внедрении и использовании технологий искусственного интеллекта, чтобы минимизировать риски и обеспечить надежную защиту от потенциальных угроз.
