Новый ИИ перевел текстовые команды в движения для роботов и аватаров

Главное нововведение этой модели заключается в ее способности адаптировать движения для различных типов тел, от человекоподобных роботов до четвероногих. Это позволяет генерировать движения для множества типов роботов, независимо от их формы и особенностей.

По словам одного из исследователей, Сударшана Харитаса, они рассматривают движение как язык, который можно «переводить», подобно тому как это происходит с текстами, например, с английского на китайский. Это открывает новые возможности для множества приложений, от взаимодействия с роботами до использования в виртуальной реальности.

Исследование уже представлено на сервере arXiv, а в этом месяце будет показано на Международной конференции по робототехнике и автоматизации. Модель обучалась на двух наборах данных, содержащих детальные аннотации движений людей и роботов.

MotionGlot способна не только точно воспроизводить движения по текстовым инструкциям, но и адаптировать их для различных фигур. Например, команда «показать движение при кардио-тренировке» вызовет модель, генерирующую изображение бегущего человека. Это открывает широкие возможности для разработки приложений в области робототехники, видеоигр и анимации.