ИИ проиграл людям в играх на логику: переоценил возможности пользователей

Заведующий Научно-учебной лабораторией исследований спорта факультета экономических наук Дмитрий Дагаев совместно коллегами из пермского кампуса НИУ ВШЭ Софией Паклиной и Петром Паршаковым, а также сотрудницей Университета Лозанны Юлией Алексеенко провели эксперимент с ИИ-моделями, включая ChatGPT-4o и Claude-Sonnet-4, чтобы выяснить их поведение в игре «угадай число». Исследование опубликовано в Journal of Economic Behavior & Organization. Чат-ботам предложили угадать число от нуля до ста, стремясь угадать половину или 2/3 среднего от всех ответов. В эксперименте использовались результаты 16 классических исследований с людьми, чтобы оценить адаптацию ИИ к различным типам оппонентов. ИИ показал способность адаптироваться к социальным, профессиональным и когнитивным характеристикам оппонентов. Например, в игре с участниками научных конференций по теории игр модели выбирали числа ближе к нулю, тогда как с первокурсниками они выбирали большие числа. Однако модели всё равно проигрывали, из-за того, что завышали потенциал оппонентов, выстраивая слишком сложные комбинации. Результаты показали, что языковые модели демонстрируют стратегическое мышление, но не способны выбрать доминирующую стратегию в игре с двумя участниками. «Мы сейчас находимся в точке, когда во многих операциях ИИ-модели начинают заменять людей, и это позволяет повышать экономическую эффективность бизнес-процессов. Однако в задачах, которые связаны с принятием решений, часто необходимо быть уверенными в том, что модель искусственного интеллекта ведёт себя похожим на человека образом. Поэтому появляется всё больше контекстов, в которых поведение моделей сравнивается с человеческим поведением. Эта область исследований в ближайшее время будет активно развиваться», — рассказал Дагаев.