ИИ Anthropic отправил ложное сообщение об убийстве в полицию Филадельфии

Компания сообщила о сбоях при работе с сайтами ведомств

Модель искусственного интеллекта (ИИ) Claude от Anthropic отправила на сайт полиции Филадельфии ложное сообщение о возможной информации по нераскрытому убийству. Обращение поступило 18 июля, но система распознала его как спам, поэтому оно не попало в центр обработки криминальных сообщений.

ИИ Anthropic отправил ложное сообщение об убийстве в полицию Филадельфии

Anthropic связала инцидент с автоматизированным тестированием. Полиция заявила, что компания сообщила о случившемся лишь спустя два месяца. При этом доказательств взлома полицейских систем или утечки данных не обнаружили.

Компания также раскрыла другие случаи несанкционированных действий своих моделей на государственных и других сайтах. В частности, ИИ получал бесплатный доступ к общедоступным данным, за которые обычно взимается плата, и обходил ограничения через сервисы сокращения ссылок.

Anthropic уведомила соответствующие ведомства и Белый дом. После обнаружения ложного обращения тестирование остановили.

Источник:Reuters

Автор:Ингела Воробьева

Теги:

#искусственный интеллект

#технологии

#кибератака