Конференція з машинного перекладу, Workshop on Machine Translation (Workshop on Machine Translation, WMT) — щорічна міжнародна наукова конференція з машинного перекладу. Є провідною подією у сфері досліджень машинного перекладу. Проходить спільно з великими конференціями з обробки природної мови під егідою Асоціації комп'ютерної лінгвістики.
Конференція об’єднує науковців, дослідників і представників індустрії для обміну результатами досліджень, методами та технологічними розробками у сфері машинного перекладу. WMT відіграє ключову роль у розвитку прикладної лінгвістики та є однією із провідних міжнародних подій у цій галузі.
Історія
Перша подія відбулася у 2006 році під час конференції північноамериканського відділення Асоціації комп'ютерної лінгвістики під назвою «конференція зі статистичного машинного перекладу» (Workshop on Statistical Machine Translation).
З розвитком нейронного машинного перекладу у 2016 році захід було реорганізовано у конференцію з машинного перекладу (Workshop on Machine Translation).
Формат та структура
Основною особливістю WMT є проведення конкурсних дослідницьких завдань, відомих як спільні завдання (shared tasks).
Організатори надають учасникам: навчальні та тестові корпуси даних, інструкції щодо виконання завдань, критерії оцінювання.
Команди розробників подають результати перекладу, які проходять автоматичне та експертне оцінювання. Результати готують до початку конференції, а під час основної події відбувається презентація підсумків і оголошення переможців.
Опубліковані результати спільних завдань і надані набори даних стали еталонами у дослідженнях машинного перекладу.
Значення
WMT вважають наймасштабнішою та найвпливовішою конференцією у сфері машинного перекладу. Результати її спільних завдань широко використовуються як еталонні показники у наукових дослідженнях і промислових розробках.
Конференція демонструє сучасний стан технологій перекладу, ефективність нейронних моделей, методи роботи з низькоресурсними мовами та тенденції розвитку багатомовних систем.
У 2022 році в межах загального завдання вперше була представлена українська мова.
WMT25: Findings of the General Machine Translation Shared Task
У 2025 році в межах конференції WMT опубліковано працю «Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets»https://aclanthology.org/2025.wmt-1.22.pdf, представлену в матеріалах WMT25, що відбулася в межах EMNLP 2025. У статті підсумовано результати загального завдання з машинного перекладу (General Machine Translation Shared Task).
Мета
Метою завдання було оцінювання можливостей сучасних систем машинного перекладу для широкого спектра мовних пар і текстових доменів, а також аналіз адекватності чинних методик тестування. У роботі порушено питання складності традиційних тестових наборів і їх відповідності рівню розвитку сучасних нейронних і великих мовних моделей.
Учасники та системи
У 2025 році в межах завдання було подано 36 систем від дослідницьких команд. Додатково організатори включили до оцінювання 24 системи, зокрема рішення на основі великих мовних моделей і комерційні онлайн-перекладачі. Загалом було проаналізовано 60 систем.
Значна частина поданих рішень базувалася на великих мовних моделях (LLM). Поряд із ними оцінювалися також модифіковані encoder–decoder системи та гібридні підходи.
Мовні пари
Людське оцінювання проводилося для 16 мовних пар, серед яких:
Чеська→Українська Чеська→Німецька Англійська→Українська Англійська→Японська Англійська→Корейська Англійська→Російська Англійська→Маа Англійська→Бходжпурі
У межах багатомовного підзавдання було додано ще 15 мовних пар, для яких застосовувалися автоматичні метрики.
Тестові дані
Тестові набори формувалися з кількох доменів:
новини соціальні мережі усне мовлення художні тексти освітні матеріали діалоги
Було впроваджено документно-орієнтоване оцінювання поряд із реченнєвим рівнем, використано мультимодальні джерела даних (зокрема аудіофрагменти та скриншоти соціальних мереж), а також застосовано відбір складних текстів (difficulty sampling).
Обсяг тестових даних у кожному домені становив близько 9 000 слів. Джерельні тексти добиралися з урахуванням уникнення явища «translationese».
Оцінювання
Автоматичне оцінювання здійснювалося із застосуванням таких підходів:
LLM-as-a-Judge (GEMBA-ESA); навчені референсні метрики (MetricX, XCOMET); референс-необов’язкові метрики (CometKiwi); для низькоресурсних мов — chrF++.
Для агрегування результатів використовувалася процедура AUTORANK.
Людське оцінювання проводилося професійними анотаторами за протоколом ESA (Error Span Annotation), а для частини мовних пар — за схемою MQM (Multidimensional Quality Metrics).
Основні результати
Серед зафіксованих результатів:
зростання кількості систем на основі великих мовних моделей; розбіжності між автоматичними та людськими оцінками; у частині мовних пар людські переклади не входили до найвищого кластера; найскладнішим доменом для систем виявилося усне мовлення; обмежена стійкість моделей до неформальних текстів, складних синтаксичних конструкцій, термінологічної варіативності та гендерної узгодженості.
Тренувальні дані
Організатори надали перелік рекомендованих паралельних і монолінгвальних корпусів, зокрема Europarl, Paracrawl, CommonCrawl, OPUS, UN Parallel Corpus та інші. Було також оприлюднено попередньо обчислені оцінки якості (COMETKIWI22) для підтримки фільтрації даних.
Тестові набори спеціального призначення
Окрім основних тестових корпусів використовувалися спеціалізовані test suites для перевірки гендерної коректності, термінологічної точності, узгодження та стійкості до нетипових вхідних даних.
Значення
Публікація WMT25 відображає тенденцію до ускладнення методик оцінювання машинного перекладу та переходу до документного й мультимодального підходів. Робота фіксує зміни у співвідношенні між традиційними нейронними системами та великими мовними моделями в сучасних дослідженнях машинного перекладу.
Примітки
Посилання Офіційний сайт WMT — https://www2.statmt.org/wmt25/index.html
Джерела https://machinetranslate.org/wmt https://www2.statmt.org/wmt25/
Див. також Машинний переклад Обробка природної мови