Российские ученые создали инструмент для улучшения онлайн-переводов

Современные онлайн-переводчики часто работают нестабильно. Стандартные метрики, такие как BLEU, оценивают переводы лишь по дословным совпадениям и не учитывают нюансы смысла и грамматики. Новая разработка объединяет несколько методов оценки и анализирует переводы на уровне слов, смысла и синтаксической структуры.

Программа автоматически выделяет предложения с низкими оценками по любому из критериев и формирует подробный отчет. Такой подход позволяет не просто оценивать общую точность перевода, но и выявлять конкретные типы ошибок: лексические, грамматические или смысловые.

В ходе экспериментов были протестированы популярные онлайн-сервисы и коммерческие нейросети. Исследование показало, что многие системы хорошо справляются с подбором слов, но испытывают сложности с передачей сложных грамматических конструкций.

Основой инструмента стала программа на Python с использованием библиотек nltk и Stanza. Они помогают разбирать текст на предложения и слова, проводить грамматический анализ и определять роль каждого слова в предложении.