Семейство типов text

Иногда полезно иметь как полнотекстовую (text), так и ключевую (keyword) версию одного и того же поля: одну для полнотекстового поиска и другую для агрегаций и сортировки. Это можно сделать с помощью множественных полей.

Следующие параметры принимаются полями text:

Поля типа text по умолчанию доступны для поиска, но по умолчанию недоступны для агрегаций, сортировки или сценариев. Если вы попытаетесь отсортировать, агрегировать или получить доступ к значениям из скрипта для поля text, вы увидите эту ошибку:

Полевые данные для полей text по умолчанию отключены. Установите fielddata=true для your_field_name, чтобы загрузить полевые данные в память, деинвертировав инвертированный индекс. Однако обратите внимание, что это может потребовать значительного объёма памяти.

Полевые данные — единственный способ доступа к проанализированным токенам из полнотекстового поля в агрегациях, сортировке или сценариях. Например, полнотекстовое поле, такое как New York, будет проанализировано как new и york. Для агрегирования по этим токенам требуются полевые данные.

Обычно нет смысла включать полевые данные для текстовых полей. Полевые данные хранятся в куче с кэшем полевых данных, так как их вычисление дорогостоящее. Вычисление полевых данных может вызвать пики задержек, а увеличение использования кучи является причиной проблем производительности кластера.

Большинство пользователей, которые хотят сделать больше с текстовыми полями, используют сопоставления многопольных отображений, имея как поле text для полных текстовых поисков, так и неанализированное поле keyword для агрегаций, как показано ниже:

PUT my-index-000001
{
  "mappings": {
    "properties": {
      "my_field": { 
        "type": "text",
        "fields": {
          "keyword": { 
            "type": "keyword"
          }
        }
      }
    }
  }
}

Вы можете включить полевые данные для существующего поля text, используя API обновления сопоставления, как показано ниже:

PUT my-index-000001/_mapping
{
  "properties": {
    "my_field": { 
      "type":     "text",
      "fielddata": true
    }
  }
}

Фильтр полевых данных может использоваться для уменьшения количества терминов, загружаемых в память, и, следовательно, уменьшения использования памяти. Термины могут быть отфильтрованы по частоте:

Фильтр частоты позволяет загружать только термины, частота документов которых находится между значением min и max, что может быть выражено абсолютным числом (если число больше 1.0) или в процентах (например, 0.01 - это 1%, а 1.0 - 100%). Частота рассчитывается по сегменту. Проценты основаны на количестве документов, имеющих значение для поля, а не на всех документах в сегменте.

Небольшие сегменты могут быть полностью исключены путем указания минимального количества документов, которое сегмент должен содержать с min_segment_size:

PUT my-index-000001
{
  "mappings": {
    "properties": {
      "tag": {
        "type": "text",
        "fielddata": true,
        "fielddata_frequency_filter": {
          "min": 0.001,
          "max": 0.1,
          "min_segment_size": 500
        }
      }
    }
  }
}

Вариант text, который обменивает оценку и эффективность позиционных запросов на эффективность использования пространства. Это поле фактически хранит данные так же, как поле text, которое индексирует только документы (index_options: docs) и отключает нормы (norms: false). Запросы по терминам выполняются так же быстро, как и на полях text, но запросы, которым нужны позиции, такие как запрос match_phrase, выполняются медленнее, так как им нужно посмотреть на документ _source, чтобы проверить, соответствует ли фраза. Все запросы возвращают постоянные оценки, равные 1,0.

Анализ не настраивается: текст всегда анализируется с помощью анализатора по умолчанию (standard по умолчанию).

Запросы span не поддерживаются с этим полем, используйте вместо них запросы интервалов или тип поля text, если вам абсолютно необходимы запросы span.

Помимо этого, match_only_text поддерживает те же запросы, что и text. И, как и text, он не поддерживает сортировку и имеет только ограниченную поддержку агрегаций.

PUT logs
{
  "mappings": {
    "properties": {
      "@timestamp": {
        "type": "date"
      },
      "message": {
        "type": "match_only_text"
      }
    }
  }
}

Принимаются следующие параметры сопоставления: