Нечеткое извлечение - Fuzzy retrieval

Нечеткое извлечение методы основаны на Расширенная логическая модель и Нечеткое множество теория. Существуют две классические модели нечеткого поиска: смешанные минимальные и максимальные значения (MMM) и модель Пэйса. Обе модели не позволяют оценивать веса запросов, однако это считается P-нормы алгоритм.

Смешанная минимальная и максимальная модель (MMM)

В теории нечетких множеств элемент имеет разную степень принадлежности, например d_А, к заданному набору А вместо традиционного выбора членства (является элементом / не является элементом).
В МММ^[1] с каждым индексным термином связано нечеткое множество. Вес документа по отношению к термину индекса А считается степенью принадлежности документа к нечеткому множеству, связанному с А. Степень принадлежности к объединению и пересечению определяется в теории нечетких множеств следующим образом:

{ displaystyle d_ {A cap B} = min (d_ {A}, d_ {B})}

{ Displaystyle d_ {A чашка B} = макс (d_ {A}, d_ {B})}

В соответствии с этим, документы, которые должны быть получены по запросу формы А или В, должно быть в нечетком множестве, связанном с объединением двух множеств А и B. Точно так же документы, которые должны быть получены по запросу формы А и В, должно быть в нечетком множестве, связанном с пересечением двух множеств. Следовательно, можно определить сходство документа с или же запрос быть макс (d_А, d_B) и сходство документа с и запрос быть разум_А, d_B). Модель MMM пытается смягчить логические операторы, рассматривая подобие запроса и документа как линейную комбинацию мин и Максимум вес документа.

Учитывая документ D с индексными весами d_A1, d_A2, ..., d_An для сроков А₁, А₂, ..., А_п, и запросы:

Q_{или же} = (A₁ или А₂ или ... или A_п)
Q_и = (A₁ и А₂ и ... и А_п)

Сходство запроса и документа в модели MMM вычисляется следующим образом:

SlM (Q_{или же}, D) = C_или1 * макс (d_A1, d_A2, ..., d_An) + C_{или 2} * разум_A1, d_A2, ..., d_An)
SlM (Q_и, D) = C_и1 * разум_A1, d_A2, ..., d_An) + C_и2 * макс (d_A1, d_A2 ..., d_An)

куда C_или1, С_{или 2} - коэффициенты "мягкости" или же оператор и C_и1, С_и2 - коэффициенты мягкости и оператор. Поскольку мы хотели бы придать максимальному весу документа большее значение при рассмотрении или же запрос и как минимум большее значение при рассмотрении и запрос, обычно у нас есть C_или1 > C_{или 2} и C_и1 > C_и2. Для простоты принято считать, что C_или1 = 1 - С_или2 и C_и1 = 1 - С_и2.

Ли и Фокс^[2] эксперименты показывают, что лучшая производительность обычно достигается с C_и1 в диапазоне [0,5, 0,8] и с C_или1 > 0,2. В общем, вычислительные затраты MMM невелики, а эффективность поиска намного лучше, чем с Стандартная логическая модель.

Модель Paice

В Paice модель^[3] является общим расширением модели MMM. По сравнению с моделью MMM, которая учитывает только минимальный и максимальный веса для членов индекса, модель Paice включает все веса терминов при вычислении подобия:

{ displaystyle S (D, Q) = sum _ {i = 1} ^ {n} { frac {r ^ {i-1} * w_ {di}} { sum _ {j = 1} ^ { п} г ^ {j-1}}}}

куда р - постоянный коэффициент и ш_ди расположен в порядке возрастания для и запросы и порядок убывания для или же запросы. Когда n = 2, модель Пэйса показывает то же поведение, что и модель MMM.

Эксперименты Ли и Фокса^[2] показали, что установка р до 1.0 для и запросов и 0,7 для или же запросы дают хорошую эффективность поиска. Стоимость вычислений для этой модели выше, чем для модели MMM. Это потому, что модель MMM требует только определения мин или же Максимум набора весов терминов каждый раз, когда и или же или же рассматривается пункт, который можно сделать в На). Модель Пайса требует, чтобы веса терминов были отсортированы в возрастающем или убывающем порядке, в зависимости от того, и пункт или или же пункт рассматривается. Для этого требуется как минимум 0 (п журнал п) алгоритм сортировки. Также требуется много вычислений с плавающей запятой.

Улучшения по сравнению со стандартной логической моделью

Ли и Фокс^[2] сравнил стандартную логическую модель с моделями MMM и Paice с тремя наборами тестов: CISI, CACM и INSPEC. Это отчетные результаты для повышения средней точности:

	CISI	CACM	INSPEC
М-м-м	68%	109%	195%
Paice	77%	104%	206%

Это очень хорошие улучшения по сравнению со стандартной моделью. MMM очень близок к результатам Paice и P-norm, что указывает на то, что это может быть очень хорошая техника и самая эффективная из трех.

Недавняя работа

Недавно Канг и другие..^[4] разработали нечеткую поисковую систему, индексируемую идентификацией концептов.

Если мы посмотрим на документы на чистом Tf-idf При подходе, даже если исключить стоп-слова, будут слова, более релевантные теме документа, чем другие, и они будут иметь одинаковый вес, потому что они имеют одинаковую частоту употребления терминов. Если мы примем во внимание намерение пользователя в отношении запроса, мы сможем лучше взвесить условия документа. Каждый термин может быть идентифицирован как понятие в определенной лексической цепочке, которая отражает важность этого понятия для этого документа.
Они сообщают об улучшениях по сравнению с Paice и P-norm в отношении средней точности и запоминаемости для первых 5 извлеченных документов.

Задрозный^[5] пересмотрел модель поиска нечеткой информации. Далее он расширяет нечеткую расширенную логическую модель:

принятие лингвистических терминов в качестве весов важности ключевых слов также в документах
принимая во внимание неопределенность относительно представления документов и запросов
интерпретация лингвистических терминов в представлении документов и запросов, а также их сопоставление с точки зрения нечеткой логики Заде (исчисление лингвистических утверждений)
рассмотрение некоторых прагматических аспектов предлагаемой модели, в частности методов индексации документов и запросов

Предлагаемая модель позволяет уловить как неточность, так и неопределенность в отношении представления и поиска текстовой информации.

Смотрите также

Поиск информации

дальнейшее чтение

Fox, E .; С. Бетрабет; М. Кушик; В. Ли (1992), Информационный поиск: алгоритмы и структуры данных; Расширенная логическая модель, Prentice-Hall, Inc.