Прямые трансляции YouTube начали переводиться на лету в Яндекс Браузере
Уже можно протестироватьВ Яндекс Браузере появилась функция автоматического закадрового перевода прямых трансляций на YouTube. Теперь можно смотреть презентации гаджетов на английском языке, даже если вы им не владеете.
Пока технология работает в режиме открытого бета-тестирования. Переводятся трансляции на YouTube-каналах из плейлиста.
В основе системы лежат нейросети. Их обучили работать так, что речь начинает переводиться ещё до того, как человек на видео закончил произносить предложение. Одна нейросеть распознаёт аудио и превращает его в текст на лету, другая — определяет пол спикера по биометрии, а третья расставляет знаки препинания и выделяет из текста смысловые фрагменты. Их в итоге забирает ещё одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.
Протестировать технологию может любой пользователь Яндекс Браузера на компьютере.