Нейросеть от НИУ ВШЭ научилась распознавать эмоции и черты личности

Сотрудники лаборатории естественного языка НИУ ВШЭ совместно с экспертами из Санкт-Петербургского ФИЦ РАН и Центра практического ИИ Сбербанка разработали нейросеть, которая одновременно распознаёт эмоции, оценивает воспринимаемые черты личности и выявляет амбивалентность — неуверенность или противоречивость — в поведении человека. Об этом сообщили РИА Новости в пресс-службе ВУЗа. Модель анализирует информацию по нескольким каналам: видео, голос, содержание речи, а также сгенерированное описание мимики, взгляда, позы и жестов. Обучение проходило на суперкомпьютере «Харизма» с использованием трёх разных корпусов данных, каждый со своей разметкой. Как отметили разработчики, сложность заключалась в том, что информативность каждого канала зависела от задачи: для оценки личности важнее видео, а для выявления амбивалентности — содержание речи. В модели объединили общие компоненты, чтобы совместно использовать знания из разных наборов данных и улучшить распознавание на незнакомых примерах. По словам авторов, разработка может найти применение в цифровых образовательных системах, интеллектуальных интерфейсах и технологиях поддержки пользователя, где важно учитывать эмоциональные и поведенческие особенности. В планах учёных — внедрение нейросетевых экспертов, которые будут по-разному интерпретировать голос, речь, мимику и жесты в зависимости от задачи, а также создание персонализированных цифровых аватаров, способных адаптировать поведение к эмоциональному состоянию пользователя. «Разработанная модель искусственного интеллекта получает информацию о поведении человека сразу по нескольким каналам. Она анализирует видео, голос и содержание речи, а также сгенерированное описание мимики, взгляда, позы и жестов. Таким образом нейросеть одновременно распознает эмоции, оценивает воспринимаемые черты личности и выявляет амбивалентность», — сказано в сообщении.