В Сбере назвали пять мер защиты саморазвивающихся ИИ-агентов

Для снижения рисков специалисты предлагают изолировать агентов, разделять среды разработки и эксплуатации, а также выносить защитные механизмы за пределы исполняемого кода. Дополнительно рекомендуется создать корпоративный реестр навыков с обязательной проверкой инструментов и запускать сгенерированный код в песочнице с ограничениями по времени, сети, процессору, памяти и файловой системе.

Защита также должна включать сбор телеметрии и метрик и блокировку аномалий в реальном времени. Обновленная модель угроз Сбера описывает 37 угроз и 51 способ их реализации, включая риски GenAI, ИИ-агентов и мультиагентных систем.