Эксперт: ИИ взламывают системы из-за слишком большой свободы действий

По его словам, современные модели всё чаще работают как агенты: получают задачу и сами выбирают шаги для её выполнения. Модель опирается на заданную картину мира, и если она расходится с реальностью, формально корректное выполнение задания может привести к непредвиденным последствиям. При этом модели способны заметить признаки реальной ситуации и оценить возможный вред, но всё равно склоняются к удобной для задачи трактовке.

Эксперт подчеркнул, что произошедшее — не злой умысел, а следствие архитектуры принятия решений в агентных системах: приоритет отдаётся инструкции, а не перепроверке исходных данных. По мере роста автономности ключевое значение приобретают не сама модель, а среда запуска и корректность вводных — требования к организации испытаний и изоляции будут только ужесточаться.

«Современные модели всё чаще работают как агенты: получают задачу и сами выбирают шаги для её выполнения. Отсюда и главный источник рисков. Модель опирается на ту картину мира, которую ей задали в начале, и если эта картина расходится с реальностью, то формально корректное выполнение задания может привести к последствиям, которых никто не закладывал. Причём модели способны заметить признаки того, что ситуация не тестовая, оценить возможный вред и всё равно склониться к удобной для задачи трактовке», — подвернул Жилоков.