Агрегация значимых терминов

Счёт JLH можно использовать в качестве показателя значимости, добавив параметр

	 "jlh": {
	 }

Значения рассчитываются на основе частоты документа в наборах фоновый и передний. Абсолютное изменение популярности (foregroundPercent - backgroundPercent) отдаёт предпочтение общим терминам, а относительное изменение популярности (foregroundPercent/ backgroundPercent) — редким терминам. Редкие и общие термины по сути представляют собой баланс точности и полноты, поэтому абсолютные и относительные изменения перемножаются, чтобы найти оптимальное значение между точностью и полнотой.

Взаимную информацию, как описано в «Поиске информации», Manning et al., глава 13.5.1, можно использовать в качестве показателя значимости, добавив параметр

	 "mutual_information": {
	      "include_negatives": true
	 }

Взаимная информация не различает термины, которые описывают подмножество или документы за пределами подмножества. Поэтому значимые термины могут содержать термины, которые встречаются чаще или реже в подмножестве, чем за его пределами. Чтобы отфильтровать термины, которые встречаются реже в подмножестве, чем в документах за пределами подмножества, можно установить include_negatives в значение false.

По умолчанию предполагается, что документы в корзине также содержатся в фоновом наборе. Если вы определили пользовательский фильтр фонового набора, представляющий собой другой набор документов, с которым вы хотите сравнить, установите

"background_is_superset": false

Критерий хи-квадрат, как описано в «Поиске информации», Manning et al., глава 13.5.2, можно использовать в качестве показателя значимости, добавив параметр

	 "chi_square": {
	 }

Критерий хи-квадрат ведёт себя как взаимная информация и может настраиваться с теми же параметрами include_negatives и background_is_superset.

Нормализованное расстояние Google, как описано в "The Google Similarity Distance", Cilibrasi and Vitanyi, 2007, можно использовать в качестве показателя значимости, добавив параметр

	 "gnd": {
	 }

gnd также принимает параметр background_is_superset.

Простая вычисление количества документов в переднем образце с термином, делённое на количество документов в фоновом образце с термином. По умолчанию это даёт значение больше нуля и меньше единицы.

Преимущества этого эвристического подхода заключаются в простоте объяснения для любого человека, знакомого с «поголовной» статистикой. Однако в областях с высокой кардинальностью существует тенденция выбора самых редких терминов, таких как опечатки, которые встречаются только один раз, поскольку они оцениваются как 1/1 = 100%.

Опытному боксёру будет трудно выиграть чемпионат, если награда будет присуждаться только на основе процента выигранных боёв — по этим правилам новичок с только одним боем в своём послужном списке будет непобедим. Для подтверждения мнения обычно требуется несколько наблюдений, поэтому в таких случаях рекомендуется установить и min_doc_count, и shard_min_doc_count на более высокое значение, например, 10, чтобы отфильтровать термины с низкой частотой, которые в противном случае имеют приоритет.

	 "percentage": {
	 }

Примерно, mutual_information отдает предпочтение терминам с высокой частотой, даже если они также часто встречаются в фоновом наборе. Например, в анализе текстов естественного языка это может привести к выбору стоп-слов. mutual_information маловероятно выберет очень редкие термины, такие как опечатки. gnd отдает предпочтение терминам с высокой частотой совместного появления и избегает выбора стоп-слов. Он может быть лучше подходит для обнаружения синонимов. Однако, gnd имеет тенденцию выбирать очень редкие термины, которые, например, являются результатом опечатки. chi_square и jlh находятся где-то посередине.

Трудно сказать, какой из различных эвристических подходов будет лучшим выбором, так как это зависит от того, для чего используются значимые термины (см., например, Yang and Pedersen, «Comparative Study on Feature Selection in Text Categorization», 1997 для исследования использования значимых терминов для выбора признаков для классификации текста).

Если ни один из вышеперечисленных показателей не подходит для вашего случая, можно реализовать пользовательский показатель значимости:

Пользовательские метрики могут быть реализованы через скрипт:

	    "script_heuristic": {
              "script": {
	        "lang": "painless",
	        "source": "params._subset_freq/(params._superset_freq - params._subset_freq + 1)"
	      }
            }

Скрипты могут быть встроенными (как в примере выше), индексированными или сохранёнными на диске. Более подробную информацию об опциях см. в документации по скриптам.

Доступные параметры в скрипте:

Параметр size можно установить, чтобы определить, сколько корзин терминов должно быть возвращено из общего списка терминов. По умолчанию узел, координирующий процесс поиска, запросит каждый фрагмент, чтобы получить собственные лучшие корзины терминов, а после получения ответов от всех фрагментов уменьшит результаты до окончательного списка, который затем будет возвращён клиенту. Если количество уникальных терминов больше, чем size, возвращённый список может быть несколько неточным (счётчик терминов может отличаться на несколько единиц, и даже термин, который должен был быть в верхних корзинках, может отсутствовать).

Для повышения точности используется кратное окончательному значению size в качестве количества терминов, которые необходимо запросить у каждого фрагмента (2 * (size * 1.5 + 10)). Для ручного управления этим параметром можно использовать параметр shard_size, чтобы контролировать объём кандидатов на термины, генерируемых каждым фрагментом.

Термины с низкой частотой могут оказаться наиболее интересными после объединения всех результатов, поэтому агрегация significant_terms может генерировать результаты более высокого качества, когда параметр shard_size установлен на значениях, существенно превышающих значение параметра size. Это гарантирует, что большее количество многообещающих кандидатов на термины будут совместно проанализированы узлом сворачивания до окончательного выбора. Очевидно, что большие списки кандидатов на термины приведут к увеличению сетевого трафика и использования оперативной памяти, поэтому это компромисс между качеством и стоимостью, который необходимо сбалансировать. Если shard_size установлен в -1 (значение по умолчанию), то shard_size будет автоматически оцениваться на основе количества фрагментов и параметра size.

Возможна настройка возврата только тех терминов, которые соответствуют более чем заданному числу совпадений, с помощью опции min_doc_count:

resp = client.search(
    aggs={
        "tags": {
            "significant_terms": {
                "field": "tag",
                "min_doc_count": 10
            }
        }
    },
)
print(resp)

response = client.search(
  body: {
    aggregations: {
      tags: {
        significant_terms: {
          field: 'tag',
          min_doc_count: 10
        }
      }
    }
  }
)
puts response

const response = await client.search({
  aggs: {
    tags: {
      significant_terms: {
        field: "tag",
        min_doc_count: 10,
      },
    },
  },
});
console.log(response);

GET /_search
{
  "aggs": {
    "tags": {
      "significant_terms": {
        "field": "tag",
        "min_doc_count": 10
      }
    }
  }
}

Вышеприведённая агрегация вернёт только те теги, которые были найдены в 10 и более совпадениях. Значение по умолчанию — 3.

Термины, получившие высокие баллы, будут собраны на уровне фрагмента и объединены с терминами, собранными из других фрагментов на втором этапе. Однако фрагмент не имеет информации о глобальных частотах терминов. Решение о добавлении термина в список кандидатов зависит только от оценки, вычисленной на фрагменте с использованием локальных частот фрагмента, а не глобальных частот слова. Критерий min_doc_count применяется только после объединения статистических данных локальных терминов всех фрагментов. Таким образом, решение о добавлении термина в качестве кандидата принимается, не имея полной уверенности в том, что термин действительно достигнет необходимого значения min_doc_count. Это может привести к тому, что многие термины с высокой (глобальной) частотой будут отсутствовать в конечном результате, если в списки кандидатов попадут термины с низкой частотой, но высокой оценкой. Чтобы избежать этого, параметр shard_size можно увеличить, чтобы разрешить больше кандидатов на фрагментах. Однако это увеличивает потребление памяти и сетевой трафик.

Параметр shard_min_doc_count регулирует уверенность фрагмента в том, следует ли добавлять термин в список кандидатов или нет, относительно значения min_doc_count. Термины будут учитываться только в том случае, если их локальная частота на фрагменте в наборе выше, чем shard_min_doc_count. Если ваш словарь содержит много терминов с низкой частотой, и вы не заинтересованы в них (например, в ошибках написания), то вы можете установить параметр shard_min_doc_count для фильтрации кандидатов на уровне фрагмента, которые с достаточной вероятностью не достигнут необходимого значения min_doc_count даже после объединения локальных подсчётов. Параметр shard_min_doc_count по умолчанию установлен в значение 0 и не оказывает влияния, если его явно не установить.

По умолчанию источником статистической информации о частотах фоновых терминов является весь индекс, и этот объём может быть сужен с помощью background_filter, чтобы сфокусироваться на значимых терминах в более узком контексте:

resp = client.search(
    query={
        "match": {
            "city": "madrid"
        }
    },
    aggs={
        "tags": {
            "significant_terms": {
                "field": "tag",
                "background_filter": {
                    "term": {
                        "text": "spain"
                    }
                }
            }
        }
    },
)
print(resp)

response = client.search(
  body: {
    query: {
      match: {
        city: 'madrid'
      }
    },
    aggregations: {
      tags: {
        significant_terms: {
          field: 'tag',
          background_filter: {
            term: {
              text: 'spain'
            }
          }
        }
      }
    }
  }
)
puts response

const response = await client.search({
  query: {
    match: {
      city: "madrid",
    },
  },
  aggs: {
    tags: {
      significant_terms: {
        field: "tag",
        background_filter: {
          term: {
            text: "spain",
          },
        },
      },
    },
  },
});
console.log(response);

GET /_search
{
  "query": {
    "match": {
      "city": "madrid"
    }
  },
  "aggs": {
    "tags": {
      "significant_terms": {
        "field": "tag",
        "background_filter": {
          "term": { "text": "spain" }
        }
      }
    }
  }
}

Вышеприведённый фильтр поможет сфокусироваться на терминах, характерных для города Мадрид, а не на таких терминах, как «Испанский», которые необычны в глобальном контексте всего индекса, но распространены в подмножестве документов, содержащих слово «Испания».

Возможна (хотя и редко необходима) фильтрация значений, для которых будут созданы корзины. Это можно сделать с помощью параметров include и exclude, которые основаны на строке регулярного выражения или массивах точных терминов. Эта функциональность дублирует функции, описанные в документации по агрегации терминов.

Для избежания проблем с памятью, агрегация significant_terms всегда вычисляет дочерние агрегации в режиме breadth_first. Описание различных режимов сбора можно найти в документации по агрегации терминов.

Существует несколько механизмов выполнения агрегации терминов:

Elasticsearch старается использовать разумные значения по умолчанию, поэтому, как правило, настройка не требуется.

global_ordinals — это параметр по умолчанию для поля keyword, он использует глобальные порядковые номера для динамического выделения корзин, так что потребление памяти линейно зависит от количества значений документов, входящих в объём агрегации.

map следует рассматривать только в случае, если очень мало документов соответствует запросу. В противном случае режим выполнения на основе порядковых номеров значительно быстрее. По умолчанию map используется только при выполнении агрегации на скриптах, поскольку у них нет порядковых номеров.

resp = client.search(
    aggs={
        "tags": {
            "significant_terms": {
                "field": "tags",
                "execution_hint": "map"
            }
        }
    },
)
print(resp)

response = client.search(
  body: {
    aggregations: {
      tags: {
        significant_terms: {
          field: 'tags',
          execution_hint: 'map'
        }
      }
    }
  }
)
puts response

const response = await client.search({
  aggs: {
    tags: {
      significant_terms: {
        field: "tags",
        execution_hint: "map",
      },
    },
  },
});
console.log(response);

GET /_search
{
  "aggs": {
    "tags": {
      "significant_terms": {
        "field": "tags",
        "execution_hint": "map" 
      }
    }
  }
}

Обратите внимание, что Elasticsearch проигнорирует это указание выполнения, если оно неприменимо.