Наука и технологии
14 сентября 2017 в 11:12

Яндекс.Переводчик начал использовать нейросети

Команда Яндекса рассказала о новых возможностях сервиса Яндекс.Переводчик. Они запустили гибридную систему перевода. Ранее Переводчик использовал статистическую модель, а теперь ее дополнила технология перевода на нейронной сети.

Яндекс.Переводчик начал использовать нейросети

Текст переводят обе модели, а затем алгоритм на основе метода машинного обучения CatBoost сравнивает результаты и предлагает лучший. Таким образом, гибридная система позволяет взять лучшее от каждого метода и повысить качество перевода.

В отличие от статистического переводчика, нейронная сеть не разбивает тексты на отдельные слова и фразы. Она получает на вход предложение целиком и выдает его перевод. Такой подход позволяет учесть контекст и лучше передать смысл. Кроме того, результат получается более «гладким» и походим на "человеческий" перевод. При этом статистическая модель лучше справляется с редкими словами и фразами и не фантазирует, если смысл предложения непонятен, как это может делать нейросеть.

Яндекс.Переводчик начал использовать нейросети

Чтобы снизить количество грамматических ошибок, Яндекс.Переводчик проводит дополнительную проверку переводов, выполненных нейронной сетью. Они проходят через модель языка — так называется свод знаний о языке перевода, накопленный системой. Если в предложении есть рассогласования, например «папа пошла» или «сильный боль», модель исправит их.

На данный момент гибридная система работает только для переводов с английского на русский. Пользователи веб-версии Яндекс.Переводчика могут сравнить результат работы гибридной системы и статистического переводчика и выбрать вариант, который им больше понравится.

Источник новости: Яндекс