BLEU (від ) — автоматична метрика оцінювання систем машинного перекладу, запропонована дослідниками IBM Кішором Папінені, Салімом Рукосом, Тоддом Вордом і Вей-Цзін Чжу у 2002 році. Вона вимірює подібність оцінюваного перекладу до одного або кількох еталонних перекладів за збігами n-грам. Під час обчислення кількість збігів обмежують їхньою частотою в еталонах, а надто короткі переклади додатково штрафують.
Класичний BLEU обчислюють для всього корпусу текстів. Результат зазвичай подають числом від 0 до 1 або у шкалі від 0 до 100, причому більше значення означає більшу подібність до еталонних перекладів. Метрика не оцінює безпосередньо змістову правильність, граматичність або зрозумілість тексту, а її значення залежить від токенізації, нормалізації, кількості еталонів та інших параметрів обчислення.
Посилання
BLEU: a Method for Automatic Evaluation of Machine Translation — первісна публікація, у якій запропоновано метрику BLEU . A Call for Clarity in Reporting BLEU Scores — про залежність значень BLEU від токенізації та інших параметрів обчислення . SacreBLEU — програмна реалізація для відтворюваного обчислення BLEU та інших метрик машинного перекладу . Модуль BLEU в Natural Language Toolkit — документація та приклади обчислення корпусного BLEU і BLEU для окремих речень .