Жутко и технологично: NVIDIA научила 3D-модели реалистично открывать рот под чей-то голос
Всё работает автоматическиКомпания NVIDIA больше известна как производитель видеокарт, но она также создаёт некоторые интересные программные инструменты. Примером этого является система Audio2Face, которая позволяет анимировать 3D-модели на основе записанного голоса.
В Audio2Face реализуется процесс автоматического монтажа. Инструмент работает на открытой платформе физически корректного моделирования в реальном времени NVIDIA Omniverse. Программа берёт аудиофайл и создаёт на модели удивительно хорошо совпадающую анимацию. Она хорошо работает с большинством языков.
Для инструмента NVIDIA создала глубокую нейронную сеть, которая сопоставляет лицевую анимацию со звуком в реальном времени. У компании есть веб-сайт с инструкциями к Audio2Face. Также уже можно скачать открытую бета-версию программы. А пока можно посмотреть на примеры работы технологии. Результат может даже пугать.