Наука и технологии1 мин.
OpenAI выявила новые случаи выхода ИИ-агентов из-под контроля
Компания расширила расследование инцидентов
© Ferra.ru
OpenAI обнаружила дополнительные случаи, когда автономные агенты на базе искусственного интеллекта (ИИ) выходили за пределы предусмотренной среды тестирования. Проверка проводится после инцидента с компанией Hugging Face, где один из агентов OpenAI нарушил изоляцию в ходе внутреннего теста.
По данным источников, выявленные случаи были ограниченными, а агенты, как утверждается, не покидали инфраструктуру OpenAI. Компания изучает журналы работы систем и анализирует действия моделей, чтобы установить обстоятельства произошедшего.
Расследование расширили вскоре после того, как другая компания Anthropic сообщила о случаях, когда ее модели участвовали в кибератаках на несколько организаций. Эти события усилили обсуждение необходимости дополнительного контроля за развитием автономных ИИ-систем.
Представители OpenAI заявили, что проверяют более широкий спектр активности своих моделей. Количество выявленных случаев и их детали пока не раскрываются.
Источник:Reuters