В Саратове создали виртуального гида для музеев

Особенностью разработки является синхронная генерация реплик, жестов и анимации. Анимированная 3D-модель сопровождает речь реалистичными движениями и адаптированной артикуляцией. Для ответов используется не записанная аудиодорожка, а уникальные реплики, создаваемые нейросетью в реальном времени.

Система построена на интеграционном каркасе, объединяющем LLM-модель, сервис синтеза речи и модуль планирования действий. Это создаёт эффект живого общения и позволяет гиду работать по заранее заданной тематике.

Разработкой уже заинтересовались организаторы фестиваля археологии и реконструкции «Укек» и представители музея «Россия — моя история» в Саратове. Для первого проекта формируется база данных по истории Увекской археологической экспедиции, которая ведётся более 20 лет.

Кроме музейной сферы, интеллектуального помощника планируют использовать в самом университете. Он будет помогать абитуриентам и первокурсникам Института прикладных информационных технологий и коммуникаций СГТУ.