Розсилає спам та краде дані: дослідники тестують небезпечного ШІ-хробака

Дослідники тестують ШІ-хробака, який здатен поширюватися автоматично через AI-агентів. Експерти зазначили, що цей "хробак" може викрадати дані та розсилати спам. У процесі "міграції" від однієї системи до іншої ці шкідники можуть розгортати зловмисне програмне забезпечення. Стало відомо, які результати дослідження щодо такого типу штучного інтелекту отримали вчені. 

Як передає портал Wired, дослідженням займаються експерти Cornell Tech. За словами дослідника Бена Нассі, існування такого ШІ-хробака фактично доводить, що тепер існує можливість для нового виду кібератак, якого раніше не існувало. 

У своїй роботі дослідники показали, як AI-хробак може атакувати генеративного AI-помічника електронної пошти, щоб викрасти дані з електронних листів і розсилати спам, порушуючи при цьому деякі засоби захисту в ChatGPT і Gemini. Яким чином це працює: зловмисник може приховати текст на веб-сторінці, який повідомляє LLM діяти як шахрай і запитувати ваші банківські реквізити. Це пов'язано з тим, що більша частина генеративних систем штучного інтелекту працюють за допомогою підказок (це тестові інструкції, які вказують інструментам відповісти на запитання або створити зображення). Саме такі підказки зловмисники можуть використати проти системи. 

Як проходило тестування   

Дослідники діяли як зловмисники. Вони написали електронний лист, включно з протилежним текстовим запитом, який "отруює" базу даних помічника електронної пошти, використовуючи пошуково-розширену генерацію (RAG), спосіб для LLM отримати додаткові дані ззовні його системи. У результаті коли RAG отримує електронний лист у відповідь на запит користувача та надсилає його GPT-4 або Gemini Pro для створення відповіді, він зламує службу AI-агента, а потім - може викрасти дані з електронних листів.   

"Згенерована відповідь, що містить конфіденційні дані користувача, пізніше заражає нові хости, коли вона використовується для відповіді на електронний лист, надісланий новому клієнту, а потім зберігається в базі даних нового клієнта", - пояснив Бен Нассі.

У другому випадку зображення з вбудованою зловмисною підказкою змушує помічника електронної пошти пересилати повідомлення іншим. Таким чином, зловмисники можуть розсилати спам, а також отримувати дані з електронних листів. Це, зокрема,  імена, номери телефонів, номери кредитних карток, SSN, будь-що, що вважається конфіденційним.  Про свої висновки дослідники повідомили Google і OpenAI.   

"Схоже, вони знайшли спосіб використовувати вразливості типу швидкої ін'єкції, покладаючись на дані користувача, які не були перевірені чи відфільтровані", - зауважив представник OpenAI, додавши, що компанія працює над тим, щоб зробити свої системи ще більш стійкими. 

Як ШІ може загрожувати людству   

Наприкінці грудня 2023 року у відкритому листі понад 350 лідерів галузі, наголосили на нагальній необхідності усунення цих ризиків для людства. У листі експерти стверджують, що зниження ризику вимирання, спричиненого штучним інтелектом, має стати глобальним пріоритетом, ставлячи його в один ряд з іншими основними суспільними ризиками. Серед підписантів листа – такі впливові фігури, як Сем Альтман, голова OpenAI, Деміс Хассабіс, голова Google DeepMind, Даріо Амодей, голова Anthropic, а також Джеффрі Хінтон і Йошуа Бенгіо, лауреати премії Тьюринга, які вважаються піонерами в галузі сучасного ШІ. У списку відсутній Ян Лекун, який очолює дослідження ШІ в компанії Meta.     

Зазначається, що чимало людей занепокоєні тим, що системи штучного інтелекту можуть бути використані для поширення пропаганди. Також є побоювання через потенційну втрату робочих місць. При цьому самі лідери індустрії визнають ризики, пов'язані з їхніми власними творіннями, і виступають за суворе регулювання з боку керівних органів.

Політолог Володимир Фесенко розкриває, чому новий законопроєкт не слід називати «скандальним» та чому важливо уникати таврування. Розмова про значущість мобілізації та можливі наслідки в разі невтілення цього закону. Приєднуйтеся до перегляду для глибшого розуміння.

Підписуйтесь на наш Telegram-канал, щоб не пропустити важливих новин. За новинами в режимі онлайн прямо в месенджері слідкуйте на нашому Telegram-каналі Інформатор Live. Підписатися на канал у Viber можна тут.