Яндекс.Переводчик начал использовать нейросети

Команда Яндекса рассказала о новых возможностях сервиса Яндекс.Переводчик. Они запустили гибридную систему перевода. Ранее Переводчик использовал статистическую модель, а теперь ее дополнила технология перевода на нейронной сети.

Текст переводят обе модели, а затем алгоритм на основе метода машинного обучения CatBoost сравнивает результаты и предлагает лучший. Таким образом, гибридная система позволяет взять лучшее от каждого метода и повысить качество перевода.

В отличие от статистического переводчика, нейронная сеть не разбивает тексты на отдельные слова и фразы. Она получает на вход предложение целиком и выдает его перевод. Такой подход позволяет учесть контекст и лучше передать смысл. Кроме того, результат получается более «гладким» и походим на "человеческий" перевод. При этом статистическая модель лучше справляется с редкими словами и фразами и не фантазирует, если смысл предложения непонятен, как это может делать нейросеть.

Чтобы снизить количество грамматических ошибок, Яндекс.Переводчик проводит дополнительную проверку переводов, выполненных нейронной сетью. Они проходят через модель языка — так называется свод знаний о языке перевода, накопленный системой. Если в предложении есть рассогласования, например «папа пошла» или «сильный боль», модель исправит их.

На данный момент гибридная система работает только для переводов с английского на русский. Пользователи веб-версии Яндекс.Переводчика могут сравнить результат работы гибридной системы и статистического переводчика и выбрать вариант, который им больше понравится.

Источник новости: Яндекс