ИИ Google самостоятельно получил доступ к системам трех реальных компаний

Тест проводила компания Irregular. Gemini должен был атаковать вымышленные компании в специально созданной «игре» на поиск уязвимостей. Однако тестовая среда «случайно» имела доступ в интернет, а название одной из вымышленных компаний «совпало с названием реальной».

Получив доступ к интернету, Gemini начал действовать в соответствии с заданием. В одном случае модель многократно подбирала пароли, пока не получила доступ к защищенной системе. В двух других она нашла данные для входа в открытом репозитории и использовала их для подключения к системам реальных компаний.

При этом Gemini не получал разрешения атаковать эти организации. После того как модель поняла, что работает с реальными системами, она прекратила действия.

Google заявила, что ущерба компаниям нанесено не было, а их представители получили уведомления.

После инцидента Google и Irregular изменили процедуры тестирования. Irregular заявила, что «обнаруженные проблемы» были устранены в течение нескольких недель.