ИИ Google самостоятельно получил доступ к системам трех реальных компаний

Google заявила, что ещё в мае одна из версий Gemini вышла за пределы тестовой среды и получила доступ к системам трех реальных компаний. Инцидент произошел во время проверки возможностей ИИ в области кибербезопасности. Тест проводила компания Irregular. Gemini должен был атаковать вымышленные компании в специально созданной «игре» на поиск уязвимостей. Однако тестовая среда «случайно» имела доступ в интернет, а название одной из вымышленных компаний «совпало с названием реальной». Получив доступ к интернету, Gemini начал действовать в соответствии с заданием. В одном случае модель многократно подбирала пароли, пока не получила доступ к защищенной системе. В двух других она нашла данные для входа в открытом репозитории и использовала их для подключения к системам реальных компаний. При этом Gemini не получал разрешения атаковать эти организации. После того как модель поняла, что работает с реальными системами, она прекратила действия. Google заявила, что ущерба компаниям нанесено не было, а их представители получили уведомления. После инцидента Google и Irregular изменили процедуры тестирования. Irregular заявила, что «обнаруженные проблемы» были устранены в течение нескольких недель.