Нейросеть научили определять музыку по телодвижениям исполнителей

Так программа может выделить партию одной скрипки из многих
Исследователи Массачусетского технологического института научили нейросеть определять музыку по телодвижениям исполнителей.

Инструмент сопоставляет движения музыкантов с темпом отдельных партий. Это позволяет выделить одну флейту или одну скрипку из ряда инструментов.

Нейросеть можно использовать для микширования звука и увеличения громкости инструмента в записи, а также для снижения уровня посторонних шумов.

Стоит отметить, что новую систему разработали на базе старой, благодаря которой можно было кликать на музыкальные инструменты в концертном видео, чтобы сделать их звучание громче или тише. Новая разработка включает анализ данных о ключевых положениях тела музыканта. Это же используют спортивные комментаторы для отслеживания движений спортсменов. Нейросеть обучали на синхронизированных аудио- и видеозаписях.