Учёные нашли способ вывести из строя чат-ботов
Новый вид атакиНа системы искусственного интеллекта (ИИ) можно проводить атаки, чтобы заставить их работать не так, как ожидается. Исследователи нашли способ «ломать» чат-ботов, которые сейчас широко обсуждаются из-за ChatGPT.
© Unsplash
Новое исследование показало, что чат-ботов с искусственным интеллектом можно легко взломать и использовать для получения конфиденциальной информации о пользователях. Как выяснили учёные, хакеры могут использовать процедуру, называемую «непрямая инъекция в запрос» (indirect prompt injection). Она позволяет тайно вставить вредоносные компоненты в систему.
Например, злоумышленник вставляет в запрос невидимый шрифт на веб-странице, которая будет использоваться чат-ботом для ответа на вопрос пользователя. Так исследователи заставили чат-бота Bing получить личные финансовые данные пользователя. Программа смогла «выманить» идентификаторы электронной почты и финансовую информацию у ничего не подозревающего пользователя.