Агрегирование значимых терминов

Оценка JLH может быть использована в качестве оценки значимости, добавив параметр

	 "jlh": {
	 }

Оценки получены из частот документов в наборах фоновый и передний. Абсолютное изменение популярности (foregroundPercent - backgroundPercent) будет отдавать предпочтение общим терминам, в то время как относительное изменение популярности (foregroundPercent/ backgroundPercent) — редким терминам. Редкие и общие термины в сущности представляют баланс точности и полноты, поэтому абсолютные и относительные изменения умножаются, чтобы обеспечить золотую середину между точностью и полнотой.

Взаимная информация, как описано в «Поиске информации», Manning и др., Глава 13.5.1, может быть использована в качестве оценки значимости, добавив параметр

	 "mutual_information": {
	      "include_negatives": true
	 }

Взаимная информация не различает термины, которые являются описательными для подмножества или для документов за пределами подмножества. Значимые термины, следовательно, могут содержать термины, которые появляются более или менее часто в подмножестве, чем за его пределами. Чтобы отфильтровать термины, которые появляются реже в подмножестве, чем в документах за пределами подмножества, можно установить include_negatives на false.

По умолчанию предполагается, что документы в корзине также содержатся в фоновом наборе. Если вместо этого вы определили пользовательский фоновый фильтр, представляющий другой набор документов, с которыми вы хотите сравнить, установите

"background_is_superset": false

Критерий хи-квадрат, как описано в «Поиске информации», Manning и др., Глава 13.5.2, может быть использован в качестве оценки значимости, добавив параметр

	 "chi_square": {
	 }

Критерий хи-квадрат ведет себя как взаимная информация и может быть настроен с теми же параметрами include_negatives и background_is_superset.

Нормализованное расстояние Google, как описано в "Расстояние Google Similarity", Cilibrasi и Vitanyi, 2007, может быть использовано в качестве оценки значимости, добавив параметр

	 "gnd": {
	 }

gnd также принимает параметр background_is_superset.

Простая вычисление количества документов в выборке переднего плана с термином, делённое на количество документов в фоновом с этим термином. По умолчанию это даёт оценку больше нуля и меньше единицы.

Преимущество этого эвристического метода заключается в простоте его объяснения любому, кто знаком со статистикой «на душу населения». Однако в областях с высокой размерностью существует тенденция отбора самых редких терминов, таких как опечатки, которые встречаются только один раз, потому что они набирают 1/1 = 100%.

Опытному боксёру было бы сложно выиграть чемпионат, если бы приз присуждался только на основании процента выигранных боёв — по этим правилам новичка с только одним боем под его поясом было бы невозможно победить. Для подкрепления мнения обычно требуется несколько наблюдений, поэтому в этих случаях рекомендуется установить как min_doc_count, так и shard_min_doc_count на более высокое значение, например, 10, чтобы отфильтровать термины с низкой частотой, которые в противном случае имеют приоритет.

	 "percentage": {
	 }

Грубо говоря, mutual_information отдаёт предпочтение терминам с высокой частотой, даже если они также часто встречаются и в фоновом наборе. Например, в анализе текстов естественного языка это может привести к выбору стоп-слов. mutual_information маловероятно выберет очень редкие термины, такие как опечатки. gnd отдаёт предпочтение терминам с высокой частотой совместного появления и избегает выбора стоп-слов. Это может быть лучше для обнаружения синонимов. Однако, gnd имеет тенденцию выбирать очень редкие термины, которые, например, являются результатом опечатки. chi_square и jlh находятся где-то посередине.

Трудно сказать, какой из различных эвристических методов окажется лучшим выбором, так как это зависит от того, для чего используются значимые термины (см., например, Yang и Pedersen, «Сравнительное исследование выбора признаков в категоризации текста», 1997, для изучения использования значимых терминов для выбора признаков для классификации текста).

Если ни один из вышеперечисленных показателей не подходит для вашего случая, то другой вариант — реализовать пользовательскую меру значимости:

Настраиваемые оценки могут быть реализованы с помощью скрипта:

	    "script_heuristic": {
              "script": {
	        "lang": "painless",
	        "source": "params._subset_freq/(params._superset_freq - params._subset_freq + 1)"
	      }
            }

Скрипты могут быть встроенными (как в примере выше), индексированными или храниться на диске. Подробности об этих вариантах см. в документации по скриптам.

Доступные параметры в скрипте:

Параметр size может быть установлен для определения количества корзин с терминами, которые должны быть возвращены из общего списка терминов. По умолчанию узел, координирующий процесс поиска, запросит каждый фрагмент предоставить свои собственные верхние корзины с терминами, и после ответа всех фрагментов он сведет результаты к окончательному списку, который затем будет возвращен клиенту. Если количество уникальных терминов больше size, возвращаемый список может быть немного неточным и неверным (может быть, что количество терминов немного неточно, и даже может оказаться, что термин, который должен был быть в верхних корзинках размера, не был возвращён).

Для обеспечения большей точности используется кратное окончательному значению size в качестве количества терминов, которые необходимо запросить у каждого фрагмента (2 * (size * 1.5 + 10)). Для ручного управления этим параметром можно использовать параметр shard_size, чтобы контролировать объёмы кандидатов в термины, генерируемые каждым фрагментом.

Термины с низкой частотой могут оказаться наиболее интересными после объединения всех результатов, поэтому агрегация значимых терминов может дать результаты более высокого качества, когда параметр shard_size устанавливается на значения, значительно превышающие параметр size. Это гарантирует, что большее количество перспективных кандидатов в термины будут объединены узлом сокращения перед окончательным выбором. Очевидно, что большие списки кандидатов в термины приведут к дополнительному трафику сети и использованию памяти, поэтому это компромисс «качество/стоимость», который необходимо сбалансировать. Если shard_size установлен на -1 (по умолчанию), то shard_size будет автоматически оцениваться на основе количества фрагментов и параметра size.

Возможна настройка возврата только тех терминов, которые совпадают более чем с заданным количеством вхождений, используя параметр min_doc_count:

GET /_search
{
  "aggs": {
    "tags": {
      "significant_terms": {
        "field": "tag",
        "min_doc_count": 10
      }
    }
  }
}

В приведенной выше агрегации будут возвращены только те теги, которые встречаются 10 или более раз. Значение по умолчанию равно 3.

Термины, получившие высокие оценки, будут собраны на уровне фрагмента и объединены с терминами, собранными из других фрагментов на втором этапе. Однако фрагмент не имеет информации о глобальных частотах терминов. Решение о добавлении термина в список кандидатов зависит только от оценки, вычисленной на фрагменте с использованием локальных частот фрагмента, а не глобальных частот слова. Критерий min_doc_count применяется только после объединения локальных статистических данных терминов всех фрагментов. Таким образом, решение о добавлении термина в качестве кандидата принимается, не имея полной уверенности в том, что термин фактически достигнет требуемого значения min_doc_count. Это может привести к тому, что многие термины с высокой (глобальной) частотой будут отсутствовать в конечном результате, если в списки кандидатов попадут термины с низкой частотой, но высокой оценкой. Чтобы избежать этого, параметр shard_size можно увеличить, чтобы разрешить больше терминов-кандидатов на фрагментах. Однако это увеличивает потребление памяти и сетевой трафик.

Параметр shard_min_doc_count регулирует уверенность фрагмента в том, что термин следует добавить в список кандидатов относительно min_doc_count. Термины будут рассматриваться только в том случае, если их локальная частота на фрагменте в заданном наборе выше, чем shard_min_doc_count. Если ваш словарь содержит много терминов с низкой частотой, и вы не заинтересованы в них (например, в ошибках написания), то вы можете установить параметр shard_min_doc_count, чтобы отфильтровать термины-кандидаты на уровне фрагмента, которые с достаточной уверенностью не достигнут требуемого значения min_doc_count даже после объединения локальных подсчётов. Параметр shard_min_doc_count по умолчанию установлен на значение 0 и не имеет эффекта, если его не задать явно.

По умолчанию источником статистической информации о частотах фоновых терминов является весь индекс, и этот охват может быть сужен с помощью background_filter, чтобы сфокусироваться на значимых терминах в более узком контексте:

GET /_search
{
  "query": {
    "match": {
      "city": "madrid"
    }
  },
  "aggs": {
    "tags": {
      "significant_terms": {
        "field": "tag",
        "background_filter": {
          "term": { "text": "spain" }
        }
      }
    }
  }
}

Приведенный выше фильтр поможет сфокусироваться на терминах, характерных для города Мадрид, а не на таких терминах, как "испанский", которые являются необычными в глобальном контексте всего индекса, но распространёнными в подмножестве документов, содержащих слово "Испания".

Возможна (хотя и редко необходима) фильтрация значений, для которых будут созданы ведра. Это можно сделать с помощью параметров include и exclude, которые основаны на регулярных выражениях или массивах точных терминов. Эта функциональность соответствует функциям, описанным в документации по агрегации terms.