Рассылает спам и ворует данные: исследователи тестируют опасного ИИ-червя

Исследователи тестируют ШИ-червя, который способен распространяться автоматически через AI-агентов. Эксперты отметили, что этот червь может похищать данные и рассылать спам. В процессе "миграции" от одной системы к другой эти вредители могут разворачивать вредоносное программное обеспечение. Стало известно, каковы результаты исследования такого типа искусственного интеллекта получили учёные.

Как передает портал Wired, исследованием занимаются специалисты Cornell Tech. По словам исследователя Бена Насси, существование такого ШИ-червя фактически доказывает, что теперь существует возможность нового вида кибератак, которого ранее не существовало.

В своей работе исследователи показали, как AI-червь может атаковать генеративного AI-помощника электронной почты, чтобы украсть данные из электронных писем и рассылать спам, нарушая при этом некоторые средства защиты в ChatGPT и Gemini. Как это работает: злоумышленник может скрыть текст на веб-странице, который сообщает LLM действовать как мошенник и запрашивать ваши банковские реквизиты. Это связано с тем, что большая часть генеративных систем искусственного интеллекта работают с помощью подсказок (это тестовые инструкции, указывающие инструментам ответить на вопросы или создать изображение). Именно такие подсказки злоумышленники могут использовать против системы.

Как проходило тестирование

Исследователи действовали как злоумышленники. Они написали электронное письмо, включая противоположный текстовый запрос, который "отравляет" базу данных помощника электронной почты, используя поисково-расширенную генерацию (RAG), способ для LLM получить дополнительные данные извне его системы. В результате, когда RAG получает электронное письмо в ответ на запрос пользователя и посылает его GPT-4 или Gemini Pro для создания ответа, он взламывает службу AI-агента, а затем - может похитить данные из электронных писем.

"Сгенерированный ответ, содержащий конфиденциальные данные пользователя, позже заражает новые хосты, когда он используется для ответа на электронное письмо, отправленное новому клиенту, а затем хранится в базе данных нового клиента", - пояснил Бен Насси.

Во втором случае изображение со встроенной злонамеренной подсказкой заставляет помощника электронной почты пересылать сообщения другим. Таким образом, злоумышленники могут рассылать спам, а также получать данные из электронной почты. Это, в частности, имена, номера телефонов, номера кредитных карт, SSN, что-либо, что считается конфиденциальным. О своих выводах исследователи сообщили Google и OpenAI.

"Похоже, они нашли способ использовать уязвимости типа быстрой инъекции, полагаясь на пользовательские данные, которые не были проверены или отфильтрованы", - отметил представитель OpenAI, добавив, что компания работает над тем, чтобы сделать свои системы еще более устойчивыми.

Как ИИ может угрожать человечеству

В конце декабря 2023 года в открытом письме более 350 лидеров отрасли отметили настоятельную необходимость устранения этих рисков для человечества. В письме эксперты утверждают, что снижение риска вымирания, вызванного искусственным интеллектом, должно стать глобальным приоритетом, ставя его в один ряд с другими основными публичными рисками. Среди подписавшихся письма – такие влиятельные фигуры, как Сэм Альтман, глава OpenAI, Демис Хассабис, глава Google DeepMind, Дарио Амодей, глава Anthropic, а также Джеффри Хинтон и Йошуа Бенгио, лауреаты премии Тьюринга, считающиеся пионерами в области современного ИИ. В списке отсутствует Ян Лекун, возглавляющий исследование ИИ в компании Meta.

Отмечается, что многие люди обеспокоены тем, что системы искусственного интеллекта могут быть использованы для распространения пропаганды. Также есть опасения из-за потенциальной потери рабочих мест. При этом сами лидеры индустрии признают риски, связанные с их собственными творениями, и выступают за строгую регуляцию со стороны руководящих органов.

Политолог Владимир Фесенко раскрывает, почему новый законопроект не следует называть «скандальным» и почему важно избегать клеймения. Разговор о значимости мобилизации и возможных последствиях в случае невоплощения этого закона. Присоединяйтесь к просмотру для более глубокого понимания.

Подписывайтесь на наш Telegram-канал, чтобы не пропустить важные новости. За новостями в режиме онлайн прямо в мессенджере следите на нашем Telegram-канале Информатор Live. Подписаться на канал в Viber можно здесь.