Агрегация значимых текстов

Агрегация `significant_text` намеренно не поддерживает добавление дочерних агрегаций, потому что:

Объём кандидатов для терминов обычно очень большой, и они сильно отсеиваются перед возвратом конечных результатов. Поддержка дочерних агрегаций привела бы к дополнительной переработке и была бы неэффективной. Клиенты всегда могут взять сильно сокращённый набор результатов из запроса significant_text и сделать последующий запросом с помощью агрегации terms с клаузой include и дочерними агрегациями для дальнейшего анализа выбранных ключевых слов более эффективным способом.

Агрегация `significant_text` в настоящее время также не может использоваться с текстовыми полями во вложенных объектах, потому что она работает с исходным JSON документа. Это делает эту функцию неэффективной при сопоставлении вложенных документов из хранимого JSON по совпадающему идентификатору документа Lucene.

Количество документов, содержащих термин, предоставленный в результатах, основано на суммировании выборок, возвращаемых каждым фрагментом, и поэтому может быть:

Как и большинство проектных решений, это основа компромисса, в котором мы выбрали быструю производительность в ущерб некоторым (как правило, небольшим) неточностям. Однако параметры size и shard size, описанные в следующем разделе, предоставляют инструменты для управления уровнями точности.

Эта агрегация поддерживает те же эвристики ранжирования (JLH, mutual_information, gnd, chi_square и т. д.), что и агрегация значимых терминов.

Параметр size может быть установлен для определения того, сколько корзин терминов должно быть возвращено из общего списка терминов. По умолчанию узел, координирующий процесс поиска, запросит каждый фрагмент предоставить свои собственные верхние корзины терминов, и после того, как все фрагменты ответят, он сократит результаты до конечного списка, который затем будет возвращён клиенту. Если количество уникальных терминов больше, чем size, возвращённый список может быть немного неточным (может быть, что счётчики терминов немного неточны, а может быть, что термин, который должен был быть в верхних корзинках размера, не был возвращён).

Для обеспечения большей точности используется кратное значению конечного size в качестве количества терминов, которые необходимо запросить у каждого фрагмента (2 * (size * 1.5 + 10)). Для ручного управления этим параметром можно использовать параметр shard_size для управления объёмами кандидатов терминов, создаваемых каждым фрагментом.

Термины с низкой частотой могут оказаться наиболее интересными после объединения всех результатов, поэтому агрегация `significant_terms` может создавать результаты более высокого качества, когда параметр shard_size установлен на значения, значительно превышающие значение параметра size. Это гарантирует, что больший объём перспективных кандидатов терминов будет получен консолидированной проверкой узлом-редуктором перед окончательным выбором. Очевидно, что большие списки кандидатов терминов приведут к дополнительной сетевой активности и потреблению оперативной памяти, поэтому необходимо найти баланс между качеством и стоимостью. Если shard_size установлен в значение -1 (по умолчанию), то shard_size будет автоматически рассчитано на основе количества фрагментов и параметра size.

Возможна фильтрация терминов, которые соответствуют большему количеству результатов, чем установленное значение, с помощью опции min_doc_count. Значение по умолчанию равно 3.

Термины с высокими оценками будут собираться на уровне фрагмента и объединяться с терминами, собранными из других фрагментов на втором шаге. Однако фрагмент не имеет информации о глобальных частотах терминов. Решение о добавлении термина в список кандидатов зависит только от оценки, вычисленной на фрагменте с использованием локальных частот фрагментов, а не глобальных частот слова. Критерий min_doc_count применяется только после объединения локальных статистических данных о терминах всех фрагментов. По сути, решение о добавлении термина в качестве кандидата принимается, не имея большой уверенности в том, что термин фактически достигнет необходимого значения min_doc_count. Это может привести к тому, что многие (глобально) часто встречающиеся термины будут отсутствовать в конечном результате, если в списки кандидатов попадут термины с низкой частотой, но высокой оценкой. Чтобы этого избежать, параметр shard_size можно увеличить, чтобы разрешить больше кандидатов терминов на фрагментах. Однако это увеличивает потребление памяти и сетевой трафик.

По умолчанию источником статистической информации о фоновых частотах терминов является весь индекс, и этот объём можно сузить с помощью background_filter, чтобы сфокусироваться на значимых терминах в более узком контексте:

resp = client.search(
    index="news",
    query={
        "match": {
            "content": "madrid"
        }
    },
    aggs={
        "tags": {
            "significant_text": {
                "field": "content",
                "background_filter": {
                    "term": {
                        "content": "spain"
                    }
                }
            }
        }
    },
)
print(resp)

response = client.search(
  index: 'news',
  body: {
    query: {
      match: {
        content: 'madrid'
      }
    },
    aggregations: {
      tags: {
        significant_text: {
          field: 'content',
          background_filter: {
            term: {
              content: 'spain'
            }
          }
        }
      }
    }
  }
)
puts response

const response = await client.search({
  index: "news",
  query: {
    match: {
      content: "madrid",
    },
  },
  aggs: {
    tags: {
      significant_text: {
        field: "content",
        background_filter: {
          term: {
            content: "spain",
          },
        },
      },
    },
  },
});
console.log(response);

GET news/_search
{
  "query": {
    "match": {
      "content": "madrid"
    }
  },
  "aggs": {
    "tags": {
      "significant_text": {
        "field": "content",
        "background_filter": {
          "term": { "content": "spain" }
        }
      }
    }
  }
}

Вышеуказанный фильтр поможет сфокусироваться на терминах, специфичных для города Мадрида, а не на таких терминах, как «испанский», которые необычны в контексте всего мира, но распространены в подмножестве документов, содержащих слово «Испания».

Обычно имя индексированного поля и исходного поля JSON, которое извлекается, совпадают. Однако с более сложными сопоставлениями полей, использующими функции, такие как copy_to, исходное(ые) поле(я) JSON и индексируемое поле, по которому выполняется агрегация, могут отличаться. В таких случаях можно указать поля JSON _source, из которых будет выполняться анализ текста, используя параметр source_fields:

resp = client.search(
    index="news",
    query={
        "match": {
            "custom_all": "elasticsearch"
        }
    },
    aggs={
        "tags": {
            "significant_text": {
                "field": "custom_all",
                "source_fields": [
                    "content",
                    "title"
                ]
            }
        }
    },
)
print(resp)

response = client.search(
  index: 'news',
  body: {
    query: {
      match: {
        custom_all: 'elasticsearch'
      }
    },
    aggregations: {
      tags: {
        significant_text: {
          field: 'custom_all',
          source_fields: [
            'content',
            'title'
          ]
        }
      }
    }
  }
)
puts response

const response = await client.search({
  index: "news",
  query: {
    match: {
      custom_all: "elasticsearch",
    },
  },
  aggs: {
    tags: {
      significant_text: {
        field: "custom_all",
        source_fields: ["content", "title"],
      },
    },
  },
});
console.log(response);

GET news/_search
{
  "query": {
    "match": {
      "custom_all": "elasticsearch"
    }
  },
  "aggs": {
    "tags": {
      "significant_text": {
        "field": "custom_all",
        "source_fields": [ "content", "title" ]
      }
    }
  }
}

Возможна фильтрация значений, по которым будут создаваться корзины (хотя это редко требуется). Это можно сделать с помощью параметров include и exclude, которые основаны на строке регулярного выражения или массиве точных терминов. Эта функциональность повторяет возможности, описанные в документации по агрегации терминов.