Инновационная система оценки перевода от Яндекса, известная как RATE, заслужила широкое признание среди ученых и позволяет выявлять недостатки в переводах, создаваемых нейросетями, а также делать их более естественными и точными. Об этом сообщается в статье, представленной на международной конференции по машинному обучению EMNLP 2025, где участвуют такие компании как Microsoft Research, Google Research и OpenAI.
Что такое RATE и как она работает
Система RATE (Refined Assessment for Translation Evaluation) позволяет исследователям не только выявлять ошибки в переводах, но и оценивать их значимость, классифицируя от минимальных неточностей до серьезных искажений. Этот инструмент ориентирован на три ключевых критерия: точность передачи значения, естественность языка и соблюдение стиля оригинала. Благодаря этому метод можно применять к различным жанрам текстов — от новостных статей и социальных медиа до художественной литературы.
Какие проблемы решает новая метрика
Екатерина Еникеева, руководитель команды оценки качества перевода в Яндексе, подчеркнула, что предыдущие методы, такие как MQM (Multidimensional Quality Metrics) и ESA (Error Span Annotation), не обеспечивали необходимой глубины анализа. «Данные метрики помогают проверить точность, но они не позволяют понять, насколько естественным получается перевод. RATE же предоставляет полный обзор качества перевода,» — объяснила она.
Как RATE проявила свою эффективность
В ходе сравнительного анализа, проведенного на данных международного конкурса WMT, система RATE обнаружила в семь раз больше ошибок, чем аналогичные метрики MQM и ESA. Исследование показало, что другие программы не смогли выявить множество недостатков, заметившихся пользователями. Этот эксперимент подтвердил, что современные системы машинного перевода достигли значительных успехов в точности, хотя они ещё не достигли уровня человеческого перевода, который продолжает оставаться эталоном естественности и плавности речи.
Как Яндекс использует RATE
Компания Яндекс уже использует RATE для улучшения своих переводческих моделей, адаптируя переводы под различные сценарии — от делового общения до неформального взаимодействия. Более того, новая система помогает исследователям создавать новые алгоритмы, направленные на воспроизведение живой человеческой речи, что становится особенно актуальным в условиях растущего потребления контента на различных коммуникационных платформах.
19 декабря 2025
