Наука и технологии
09 ноября в 18:00
1 мин.

Жутко и технологично: NVIDIA научила 3D-модели реалистично открывать рот под чей-то голос

Всё работает автоматически
Компания NVIDIA больше известна как производитель видеокарт, но она также создаёт некоторые интересные программные инструменты. Примером этого является система Audio2Face, которая позволяет анимировать 3D-модели на основе записанного голоса.
Жутко и технологично: NVIDIA научила 3D-модели реалистично открывать рот под чей-то голос

В Audio2Face реализуется процесс автоматического монтажа. Инструмент работает на открытой платформе физически корректного моделирования в реальном времени NVIDIA Omniverse. Программа берёт аудиофайл и создаёт на модели удивительно хорошо совпадающую анимацию. Она хорошо работает с большинством языков.

Для инструмента NVIDIA создала глубокую нейронную сеть, которая сопоставляет лицевую анимацию со звуком в реальном времени. У компании есть веб-сайт с инструкциями к Audio2Face. Также уже можно скачать открытую бета-версию программы. А пока можно посмотреть на примеры работы технологии. Результат может даже пугать.

Источник: PC Gamer
Новости партнеров
Новости партнеров