BLEU - BLEU

BLEU (двуязычный дублер оценки) - алгоритм для оценка качество текста, которое было машинный перевод от одного естественный язык другому. Под качеством понимается соответствие результатов работы машины и человека: «чем ближе машинный перевод к профессиональному человеческому переводу, тем он лучше» - это центральная идея BLEU.^[1] BLEU был одним из первых метрики претендовать на высокий корреляция с человеческими суждениями о качестве,^[2]^[3] и остается одним из самых популярных автоматизированных и недорогих показателей.

Баллы рассчитываются для отдельных переведенных сегментов - обычно предложений - путем сравнения их с набором качественных справочных переводов. Эти оценки затем усредняются по всей корпус для оценки общего качества перевода. Разборчивость или грамматическая правильность не принимаются во внимание^{[нужна цитата ]}.

Вывод BLEU всегда представляет собой число от 0 до 1. Это значение указывает, насколько похож текст-кандидат на справочные тексты, причем значения, близкие к 1, представляют более похожие тексты. Некоторые переводы, выполненные человеком, получат оценку 1, поскольку это будет означать, что кандидат идентичен одному из эталонных переводов. По этой причине нет необходимости получать оценку 1. Поскольку существует больше возможностей для сопоставления, добавление дополнительных переводов ссылок увеличит оценку BLEU.^[4]

Алгоритм

BLEU использует модифицированную форму точность для сравнения перевода кандидата с переводами нескольких справочных материалов. Показатель изменяет простую точность, поскольку известно, что системы машинного перевода генерируют больше слов, чем в справочном тексте. Это проиллюстрировано в следующем примере от Papineni et al. (2002),

Пример некачественного машинного перевода с высокой точностью
Кандидат	то	то	то	то	то	то	то
Ссылка 1	то	Кот	является	на	то	мат
Ссылка 2	там	является	а	Кот	на	то	мат

Из семи слов в переводе кандидата все они появляются в справочных переводах. Таким образом, тексту-кандидату дается точность униграммы,

{ displaystyle P = { frac {m} {w_ {t}}} = { frac {7} {7}} = 1}

куда ${ displaystyle ~ m}$ - количество слов кандидата, найденных в справочнике, и ${ displaystyle ~ w_ {t}}$ общее количество слов в кандидате. Это высший балл, несмотря на то, что в приведенном выше переводе кандидата мало что осталось от любой из ссылок.

Модификация, которую делает BLEU, довольно проста. Для каждого слова в переводе-кандидате алгоритм берет максимальное общее количество, ${ displaystyle ~ m_ {max}}$ , в любом из справочных переводов. В приведенном выше примере слово «the» встречается дважды в ссылке 1 и один раз в ссылке 2. Таким образом, ${ displaystyle ~ m_ {max} = 2}$ .

Для кандидатского перевода счет ${ displaystyle m_ {w}}$ каждого слова обрезается максимум до ${ displaystyle m_ {max}}$ за это слово. В этом случае "the" имеет ${ displaystyle ~ m_ {w} = 7}$ и ${ displaystyle ~ m_ {max} = 2}$ , таким образом ${ displaystyle ~ m_ {w}}$ обрезается до 2. Эти отсеченные значения ${ displaystyle ~ m_ {w}}$ затем суммируются по всем отдельным словам в кандидате и затем эта сумма делится на общее количество униграмм в переводе кандидата. В приведенном выше примере модифицированная оценка точности униграммы будет:

{ displaystyle P = { frac {2} {7}}}

Однако на практике использование отдельных слов в качестве единицы сравнения не оптимально. Вместо этого BLEU вычисляет ту же модифицированную метрику точности, используя н-граммы. Длина, которая имеет "наибольшую корреляцию с одноязычными человеческими суждениями"^[5] оказалось четыре. Установлено, что баллы униграмм учитывают адекватность перевода, сколько информации сохраняется. Чем дольше $п$ -граммы учитывают беглость перевода или то, насколько он читается как «хороший английский».

Сравнение показателей кандидата в «кот»
Модель	Набор граммов	Счет
Юниграмма	"the", "the", "cat"	${ displaystyle { frac {1 + 1 + 1} {3}} = 1}$
Сгруппированная униграмма	«the» * 2, «cat» * 1	${ displaystyle { frac {1 + 1} {2 + 1}} = { frac {2} {3}}}$
Биграмма	"the", "кошка"	${ displaystyle { frac {0 + 1} {2}} = { frac {1} {2}}}$

Одна из проблем с оценками BLEU заключается в том, что они, как правило, предпочитают короткие переводы, которые могут давать очень высокие оценки точности, даже с использованием модифицированной точности. Примером возможного перевода тех же ссылок, что и выше, может быть:

этот кот

В этом примере измененная точность униграммы будет:

{ displaystyle P = { frac {1} {2}} + { frac {1} {2}} = { frac {2} {2}}}

поскольку слово «the» и слово «cat» встречаются в кандидате по одному разу, а общее количество слов равно двум. Модифицированная точность биграмм будет ${ displaystyle 1/1}$ в качестве биграммы «кошка» появляется в кандидате один раз. Было отмечено, что точность обычно сочетается с отзывать чтобы преодолеть эту проблему ^[6], так как отзыв униграммы этого примера был бы ${ displaystyle 3/6}$ или же ${ displaystyle 2/7}$ . Проблема в том, что, поскольку существует несколько переводов справочников, плохой перевод может легко иметь завышенный отзыв, например, перевод, состоящий из всех слов в каждой из ссылок.^[7]

Чтобы получить оценку для всего корпуса, модифицированные оценки точности для сегментов объединяются с использованием среднее геометрическое умноженное на штраф за краткость, чтобы очень короткие кандидаты не получали слишком высокую оценку. Позволять $р$ - общая длина эталонного корпуса, а $c$ общая длина корпуса переводов. Если ${ displaystyle c leq r}$ применяется штраф за краткость, определяемый как ${ Displaystyle е ^ {(1-р / с)}}$ . (В случае нескольких предложений со ссылкой, $р$ берется как сумма длин предложений, длина которых наиболее близка к длине предложений-кандидатов. Однако в версии метрики, используемой NIST оценок до 2009 г., вместо этого использовалось кратчайшее ссылочное предложение.)

iBLEU - это интерактивная версия BLEU, которая позволяет пользователю визуально изучать оценки BLEU, полученные при переводе кандидатов. Это также позволяет сравнивать две разные системы визуально и в интерактивном режиме, что полезно для разработки системы.^[8]

Спектакль

BLEU часто сообщается как хорошо коррелирующий с человеческим суждением,^[9]^[10]^[11] и остается эталоном для оценки любой новой метрики оценки. Однако был высказан ряд критических замечаний. Было отмечено, что, хотя в принципе BLEU способен оценивать переводы любого языка, в его нынешней форме он не может работать с языками, в которых отсутствуют границы слов.^[12]

Утверждалось, что, хотя BLEU имеет значительные преимущества, нет никакой гарантии, что увеличение баллов BLEU является показателем улучшения качества перевода.^[13]Существует внутренняя системная проблема с любой метрикой, основанная на сравнении с одним или несколькими справочными переводами: в реальной жизни предложения могут быть переведены разными способами, иногда без дублирования. Таким образом, метод сравнения того, насколько компьютерный перевод отличается от нескольких переводов, выполненных человеком, ошибочен. HyTER - еще одна автоматизированная метрика машинного перевода, которая сравнивается с очень многими переводами в справочной грамматике, определенной переводчиками-людьми;^[1] недостатком является то, что человеческие усилия, затраченные на правильное определение комбинаторно многих способов передать смысл перевода на практике, означают, что HyTER также является лишь приближением.

Смотрите также

Примечания

^ Папинени К. и др. (2002)
^ Папинени К. и др. (2002)
^ Кафлин, Д. (2003)
^ Папинени К. и др. (2002)
^ Папинени К. и др. (2002)
^ Папинени К. и др. (2002)
^ Кафлин, Д. (2003)
^ Доддингтон, Г. (2002)
^ Денуаль, Э. и Лепаж, Ю. (2005)
^ Каллисон-Берч, К., Осборн, М. и Кон, П. (2006)
^ Ли, А. и Пшибоцки, М. (2005)
^ Каллисон-Берч, К., Осборн, М. и Кон, П. (2006)
^ Лин, К. и Оч, Ф. (2004)
^ Каллисон-Берч, К., Осборн, М. и Коэн, П. (2006)
^ Маднани, Н. (2011)

Библиография

Папинени, К .; Roukos, S .; Ward, T .; Чжу, В. Дж. (2002). BLEU: метод автоматической оценки машинного перевода (PDF). ACL-2002: 40-е ежегодное собрание Ассоциации компьютерной лингвистики. С. 311–318. CiteSeerX 10.1.1.19.9416.
Папинени К., Рукос С., Уорд Т., Хендерсон Дж. И Ридер Ф. (2002). «Комплексная диагностическая оценка MT на основе корпуса: первоначальные результаты для арабского, китайского, французского и испанского языков ”In Proceedings of Human Language Technology 2002, San Diego, pp. 132–137.
Каллисон-Берч, К., Осборн, М. и Кон, П. (2006) "Переоценка роли BLEU в исследованиях машинного перевода " в 11-я конференция европейского отделения ассоциации компьютерной лингвистики: EACL 2006 стр. 249–256
Доддингтон, Г. (2002) "Автоматическая оценка качества машинного перевода с использованием n-граммовой статистики совпадений " в Труды конференции по технологиям человеческого языка (HLT), Сан-Диего, Калифорния стр. 128–132
Кафлин, Д. (2003) "Сопоставление автоматизированных и человеческих оценок качества машинного перевода " в MT Summit IX, Новый Орлеан, США стр. 23–27
Денуаль Э. и Лепаж Ю. (2005) "BLEU в символах: к автоматической оценке MT на языках без разделителей слов " в Сопроводительный том к материалам Второй Международной совместной конференции по обработке естественного языка стр. 81–86
Ли, А. и Пшибоцки, М. (2005) Официальные результаты оценки машинного перевода NIST 2005
Лин, К. и Оч, Ф. (2004) "Автоматическая оценка качества машинного перевода с использованием статистики самой длинной общей подпоследовательности и статистики пропуска биграмм " в Труды 42-го ежегодного собрания Ассоциации компьютерной лингвистики.
Маднани, Н. (2011). "iBLEU: интерактивная оценка и отладка систем статистического машинного перевода "in" Proceedings of the Fifth IEEE International Conference on Semantic Computing (Demos), Palo Alto, CA "pp. 213–214

внешняя ссылка

BLEU - Двуязычная аттестационная лекция по курсу машинного перевода Технологического института Карлсруэ, Coursera

[Dreyer|2012-1] Дрейер, Маркус (2012). «HyTER: семантика, эквивалентная значению для оценки перевода». Proc. NAACL 2012: HLT: 162–171. Получено 22 января 2015.

[1]

[3]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[1]