Выделение фрагментов

Выделение фрагментов позволяет получить выделенные фрагменты из одного или нескольких полей в результатах поиска, чтобы показать пользователям, где совпадает запрос. Когда вы запрашиваете выделение, ответ содержит дополнительный элемент highlight для каждого результата поиска, который включает выделенные поля и выделенные фрагменты.

Выделение требует фактического содержимого поля. Если поле не хранится (сопоставление не устанавливает store в true), фактическое _source загружается, и соответствующее поле извлекается из _source.

Например, чтобы получить выделения для поля content в каждом результате поиска, используя стандартный выделение, включите объект highlight в тело запроса, который указывает поле content:

GET /_search
{
  "query": {
    "match": { "content": "kimchy" }
  },
  "highlight": {
    "fields": {
      "content": {}
    }
  }
}

Elasticsearch поддерживает три выделения: unified, plain и fvh (быстрое векторное выделение). Вы можете указать выделение type, которое вы хотите использовать для каждого поля.

Выделение unified использует унифицированное выделение Lucene. Это выделение разбивает текст на предложения и использует алгоритм BM25 для оценки отдельных предложений как документов в корпусе. Оно также поддерживает точное выделение фраз и выделение нескольких терминов (нечеткое, префикс, регулярное выражение). Это стандартное выделение.

Выделение plain использует стандартное выделение Lucene. Оно пытается отразить логику совпадения запроса в терминах понимания важности слов и критериев позиционирования слов в запросах с фразами.

Выделение fvh использует быстрое векторное выделение Lucene. Это выделение может использоваться для полей с term_vector, установленным в with_positions_offsets в сопоставлении. Быстрое векторное выделение:

Чтобы создать осмысленные фрагменты поиска из запрошенных терминов, выделению необходимо знать начальное и конечное смещение каждого слова в исходном тексте. Эти смещения можно получить из:

Параметры выделения могут быть установлены на глобальном уровне и переопределены на уровне поля.

Вы можете указать настройки выделения глобально и выборочно изменить их для отдельных полей.

GET /_search
{
  "query" : {
    "match": { "user.id": "kimchy" }
  },
  "highlight" : {
    "number_of_fragments" : 3,
    "fragment_size" : 150,
    "fields" : {
      "body" : { "pre_tags" : ["<em>"], "post_tags" : ["</em>"] },
      "blog.title" : { "number_of_fragments" : 0 },
      "blog.author" : { "number_of_fragments" : 0 },
      "blog.comment" : { "number_of_fragments" : 5, "order" : "score" }
    }
  }
}

Вы можете указать highlight_query, чтобы учесть дополнительную информацию при выделении. Например, следующий запрос включает в себя как поисковый запрос, так и запрос рескоринга в highlight_query. Без highlight_query выделение учитывало бы только поисковый запрос.

GET /_search
{
  "query": {
    "match": {
      "comment": {
        "query": "foo bar"
      }
    }
  },
  "rescore": {
    "window_size": 50,
    "query": {
      "rescore_query": {
        "match_phrase": {
          "comment": {
            "query": "foo bar",
            "slop": 1
          }
        }
      },
      "rescore_query_weight": 10
    }
  },
  "_source": false,
  "highlight": {
    "order": "score",
    "fields": {
      "comment": {
        "fragment_size": 150,
        "number_of_fragments": 3,
        "highlight_query": {
          "bool": {
            "must": {
              "match": {
                "comment": {
                  "query": "foo bar"
                }
              }
            },
            "should": {
              "match_phrase": {
                "comment": {
                  "query": "foo bar",
                  "slop": 1,
                  "boost": 10.0
                }
              }
            },
            "minimum_should_match": 0
          }
        }
      }
    }
  }
}

Поле type позволяет принудительно установить определённый тип выделения. Допустимые значения: unified, plain и fvh. Ниже приведён пример, принудительно устанавливающий использование простого выделения:

GET /_search
{
  "query": {
    "match": { "user.id": "kimchy" }
  },
  "highlight": {
    "fields": {
      "comment": { "type": "plain" }
    }
  }
}

По умолчанию выделенный текст будет обернут в теги <em> и </em>. Это можно настроить, установив pre_tags и post_tags, например:

GET /_search
{
  "query" : {
    "match": { "user.id": "kimchy" }
  },
  "highlight" : {
    "pre_tags" : ["<tag1>"],
    "post_tags" : ["</tag1>"],
    "fields" : {
      "body" : {}
    }
  }
}

При использовании быстрого векторного выделения вы можете указать дополнительные теги, и «важность» будет упорядочена.

GET /_search
{
  "query" : {
    "match": { "user.id": "kimchy" }
  },
  "highlight" : {
    "pre_tags" : ["<tag1>", "<tag2>"],
    "post_tags" : ["</tag1>", "</tag2>"],
    "fields" : {
      "body" : {}
    }
  }
}

Также можно использовать встроенную схему тегов styled:

GET /_search
{
  "query" : {
    "match": { "user.id": "kimchy" }
  },
  "highlight" : {
    "tags_schema" : "styled",
    "fields" : {
      "comment" : {}
    }
  }
}

Принудительно выделяет поля на основе источника, даже если поля хранятся отдельно. По умолчанию значение false.

GET /_search
{
  "query" : {
    "match": { "user.id": "kimchy" }
  },
  "highlight" : {
    "fields" : {
      "comment" : {"force_source" : true}
    }
  }
}

По умолчанию выделяются только поля, содержащие совпадение с запросом. Установите require_field_match в false, чтобы выделить все поля.

GET /_search
{
  "query" : {
    "match": { "user.id": "kimchy" }
  },
  "highlight" : {
    "require_field_match": false,
    "fields": {
      "body" : { "pre_tags" : ["<em>"], "post_tags" : ["</em>"] }
    }
  }
}

Быстрое векторное выделение может объединять совпадения по нескольким полям для выделения одного поля. Это наиболее интуитивно для многопольных анализаторов, которые анализируют одну строку по-разному. Все matched_fields должны иметь term_vector, установленное на with_positions_offsets, но загружается только поле, к которому объединяются совпадения, поэтому только это поле будет извлекать выгоду из store, установленного на yes.

В следующих примерах comment анализируется с помощью анализатора english, а comment.plain анализируется с помощью анализатора standard.

GET /_search
{
  "query": {
    "query_string": {
      "query": "comment.plain:running scissors",
      "fields": [ "comment" ]
    }
  },
  "highlight": {
    "order": "score",
    "fields": {
      "comment": {
        "matched_fields": [ "comment", "comment.plain" ],
        "type": "fvh"
      }
    }
  }
}

Вышеупомянутое совпадение "run with scissors" и "running with scissors", и выделит "running" и "scissors", но не "run". Если обе фразы появляются в большом документе, то "running with scissors" сортируется выше "run with scissors" в списке фрагментов, потому что в этом фрагменте больше совпадений.

GET /_search
{
  "query": {
    "query_string": {
      "query": "running scissors",
      "fields": ["comment", "comment.plain^10"]
    }
  },
  "highlight": {
    "order": "score",
    "fields": {
      "comment": {
        "matched_fields": ["comment", "comment.plain"],
        "type" : "fvh"
      }
    }
  }
}

Вышеупомянутое выделяет "run", а также "running" и "scissors", но всё ещё сортирует "running with scissors" выше "run with scissors", потому что простое совпадение ("running") усилено.

GET /_search
{
  "query": {
    "query_string": {
      "query": "running scissors",
      "fields": [ "comment", "comment.plain^10" ]
    }
  },
  "highlight": {
    "order": "score",
    "fields": {
      "comment": {
        "matched_fields": [ "comment.plain" ],
        "type": "fvh"
      }
    }
  }
}

Вышеупомянутый запрос не выделит "run" или "scissor", но показывает, что не обязательно указывать поле, к которому объединяются совпадения (comment) в совпадающих полях.

    "highlight": {
        "fields": {
            "comment": {}
        }
    }

    "highlight": {
        "fields": {
            "comment": {
                "matched_fields": ["comment"],
                "type" : "fvh"
            }
        }
    }

Elasticsearch выделяет поля в том порядке, в котором они передаются, но согласно спецификации JSON, объекты не упорядочены. Если вам нужно явно указать порядок выделения полей, укажите fields как массив:

GET /_search
{
  "highlight": {
    "fields": [
      { "title": {} },
      { "text": {} }
    ]
  }
}

Ни один из встроенных в Elasticsearch выделений не заботится о порядке выделения полей, но плагин может.

Каждое выделенное поле может управлять размером фрагмента выделения в символах (по умолчанию 100) и максимальным количеством возвращаемых фрагментов (по умолчанию 5). Например:

GET /_search
{
  "query" : {
    "match": { "user.id": "kimchy" }
  },
  "highlight" : {
    "fields" : {
      "comment" : {"fragment_size" : 150, "number_of_fragments" : 3}
    }
  }
}

Помимо этого, можно указать, что фрагменты выделения должны сортироваться по оценке:

GET /_search
{
  "query" : {
    "match": { "user.id": "kimchy" }
  },
  "highlight" : {
    "order" : "score",
    "fields" : {
      "comment" : {"fragment_size" : 150, "number_of_fragments" : 3}
    }
  }
}

Если значение number_of_fragments установлено в 0, фрагменты не генерируются, вместо этого возвращается всё содержимое поля, и, конечно, оно выделяется. Это может быть очень полезно, если необходимо выделить короткие тексты (например, заголовок документа или адрес), но фрагментация не требуется. Обратите внимание, что fragment_size игнорируется в этом случае.

GET /_search
{
  "query" : {
    "match": { "user.id": "kimchy" }
  },
  "highlight" : {
    "fields" : {
      "body" : {},
      "blog.title" : {"number_of_fragments" : 0}
    }
  }
}

При использовании fvh можно использовать параметр fragment_offset для управления отступом, с которого начинается выделение.

В случае отсутствия фрагмента для выделения по умолчанию ничего не возвращается. Вместо этого можно вернуть фрагмент текста с начала поля, установив no_match_size (по умолчанию 0) до длины требуемого текста. Фактическая длина может быть меньше или больше указанной, так как она пытается разбить текст по границам слов.

GET /_search
{
  "query": {
    "match": { "user.id": "kimchy" }
  },
  "highlight": {
    "fields": {
      "comment": {
        "fragment_size": 150,
        "number_of_fragments": 3,
        "no_match_size": 150
      }
    }
  }
}

Вот пример установки поля comment в схеме индекса, чтобы разрешить выделение с помощью списков записей:

PUT /example
{
  "mappings": {
    "properties": {
      "comment" : {
        "type": "text",
        "index_options" : "offsets"
      }
    }
  }
}

Вот пример установки поля comment для выделения с помощью term_vectors (это увеличит размер индекса):

PUT /example
{
  "mappings": {
    "properties": {
      "comment" : {
        "type": "text",
        "term_vector" : "with_positions_offsets"
      }
    }
  }
}

При использовании plain выделения, вы можете выбрать между simple и span фрагментерами:

GET my-index-000001/_search
{
  "query": {
    "match_phrase": { "message": "number 1" }
  },
  "highlight": {
    "fields": {
      "message": {
        "type": "plain",
        "fragment_size": 15,
        "number_of_fragments": 3,
        "fragmenter": "simple"
      }
    }
  }
}

Ответ:

{
  ...
  "hits": {
    "total": {
      "value": 1,
      "relation": "eq"
    },
    "max_score": 1.6011951,
    "hits": [
      {
        "_index": "my-index-000001",
        "_type": "_doc",
        "_id": "1",
        "_score": 1.6011951,
        "_source": {
          "message": "some message with the number 1",
          "context": "bar"
        },
        "highlight": {
          "message": [
            " with the <em>number</em>",
            " <em>1</em>"
          ]
        }
      }
    ]
  }
}

GET my-index-000001/_search
{
  "query": {
    "match_phrase": { "message": "number 1" }
  },
  "highlight": {
    "fields": {
      "message": {
        "type": "plain",
        "fragment_size": 15,
        "number_of_fragments": 3,
        "fragmenter": "span"
      }
    }
  }
}

Ответ:

{
  ...
  "hits": {
    "total": {
      "value": 1,
      "relation": "eq"
    },
    "max_score": 1.6011951,
    "hits": [
      {
        "_index": "my-index-000001",
        "_type": "_doc",
        "_id": "1",
        "_score": 1.6011951,
        "_source": {
          "message": "some message with the number 1",
          "context": "bar"
        },
        "highlight": {
          "message": [
            " with the <em>number</em> <em>1</em>"
          ]
        }
      }
    ]
  }
}

Если параметр number_of_fragments установлен в 0, используется NullFragmenter, который вообще не фрагментирует текст. Это полезно для выделения всего содержимого документа или поля.

Учитывая запрос и текст (содержимое поля документа), цель выделения — найти лучшие фрагменты текста для запроса и выделить термины запроса в найденных фрагментах. Для этого выделение должно ответить на несколько вопросов:

Соответствующие настройки: fragment_size, fragmenter, type выделения, boundary_chars, boundary_max_scan, boundary_scanner, boundary_scanner_locale.

Простое выделение начинается с анализа текста с помощью заданного анализатора и создания потока токенов из него. Простое выделение использует очень простой алгоритм для разбивки потока токенов на фрагменты. Оно перебирает термины в потоке токенов, и каждый раз, когда конечная позиция текущего термина превышает fragment_size, умноженное на количество созданных фрагментов, создаётся новый фрагмент. Немного больше вычислений выполняется с помощью фрагментирования span, чтобы избежать разделения текста между выделенными терминами. Но в целом, так как разделение выполняется только по fragment_size, некоторые фрагменты могут быть довольно странными, например, начинаться с знака препинания.

Унифицированные или FVH-подсветки лучше разбивают текст на фрагменты, используя возможности Java BreakIterator. Это гарантирует, что фрагмент является полным предложением, если fragment_size позволяет это.

Соответствующие настройки: number_of_fragments.

Для поиска лучших и наиболее релевантных фрагментов подсветка должна оценить каждый фрагмент относительно заданного запроса. Цель – оценить только те термины, которые участвовали в формировании совпадения по документу. Для некоторых сложных запросов эта задача всё ещё находится в стадии разработки.

Простая подсветка создаёт индекс в оперативной памяти из текущего потока токенов и повторно выполняет исходные критерии запроса через планировщик выполнения запросов Lucene для получения доступа к информации о совпадениях низкого уровня для текущего текста. Для более сложных запросов исходный запрос может быть преобразован в запрос с областями, так как запросы с областями могут более точно обрабатывать фразы. Затем эта полученная информация о совпадениях низкого уровня используется для оценки каждого отдельного фрагмента. Метод оценки простой подсветки довольно прост. Каждый фрагмент оценивается по количеству уникальных терминов запроса, найденных в этом фрагменте. Оценка отдельного термина равна его весу, который по умолчанию равен 1. Таким образом, по умолчанию фрагмент, содержащий один уникальный термин запроса, получит оценку 1; фрагмент, содержащий два уникальных термина запроса, получит оценку 2 и так далее. Затем фрагменты сортируются по оценкам, поэтому фрагменты с наивысшими оценками выводятся первыми.

FVH не нуждается в анализе текста и создании индекса в оперативной памяти, так как использует предварительно индексированные векторные представления терминов документа и находит среди них термины, соответствующие запросу. FVH оценивает каждый фрагмент по количеству терминов запроса, найденных в этом фрагменте. Аналогично простой подсветке, оценка отдельного термина равна его значению усиления. В отличие от простой подсветки, учитываются все термины запроса, а не только уникальные.

Унифицированная подсветка может использовать предварительно индексированные векторные представления терминов или смещения предварительно индексированных терминов, если они доступны. В противном случае, подобно простой подсветке, она должна создать индекс в оперативной памяти из текста. Унифицированная подсветка использует модель оценки BM25 для оценки фрагментов.

Соответствующие настройки: pre-tags, post-tags.

Цель – выделить только те термины, которые участвовали в формировании совпадения в документе. Для некоторых сложных булевых запросов эта задача всё ещё находится в стадии разработки, так как подсветки не отражают булеву логику запроса и извлекают только лиственные (термины, фразы, префиксы и т. д.) запросы.

Простая подсветка, используя поток токенов и исходный текст, восстанавливает исходный текст, чтобы выделить только термины из потока токенов, которые содержатся в структуре информации о совпадениях низкого уровня из предыдущего шага.

FVH и унифицированная подсветка используют промежуточные структуры данных для представления фрагментов в некотором сыром виде, а затем заполняют их фактическим текстом.

Подсветка использует pre-tags, post-tags для кодирования выделенных терминов.

Давайте рассмотрим подробнее, как работает унифицированная подсветка.

Сначала мы создаём индекс с текстовым полем content, который будет индексироваться с помощью анализатора english и будет индексироваться без смещений или векторных представлений терминов.

PUT test_index
{
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "english"
      }
    }
  }
}

Мы помещаем следующий документ в индекс:

PUT test_index/_doc/doc1
{
  "content" : "For you I'm only a fox like a hundred thousand other foxes. But if you tame me, we'll need each other. You'll be the only boy in the world for me. I'll be the only fox in the world for you."
}

И мы выполнили следующий запрос с запросом подсветки:

GET test_index/_search
{
  "query": {
    "match_phrase" : {"content" : "only fox"}
  },
  "highlight": {
    "type" : "unified",
    "number_of_fragments" : 3,
    "fields": {
      "content": {}
    }
  }
}

После того, как doc1 найдено как совпадение для этого запроса, это совпадение передаётся унифицированной подсветке для выделения поля content документа. Поскольку поле content не было индексировано ни с смещениями, ни с векторными представлениями терминов, его исходное значение поля будет проанализировано, и в оперативной памяти будет построен индекс из терминов, соответствующих запросу:

{"token":"onli","start_offset":12,"end_offset":16,"position":3},
{"token":"fox","start_offset":19,"end_offset":22,"position":5},
{"token":"fox","start_offset":53,"end_offset":58,"position":11},
{"token":"onli","start_offset":117,"end_offset":121,"position":24},
{"token":"onli","start_offset":159,"end_offset":163,"position":34},
{"token":"fox","start_offset":164,"end_offset":167,"position":35}

Наш сложный фразовый запрос будет преобразован в запрос с областями: spanNear([text:onli, text:fox], 0, true), что означает, что мы ищем термины "onli:" и "fox" в пределах 0 расстояния друг от друга и в заданном порядке. Запрос с областями будет выполнен над созданным ранее индексом в оперативной памяти, чтобы найти следующее совпадение:

{"term":"onli", "start_offset":159, "end_offset":163},
{"term":"fox", "start_offset":164, "end_offset":167}

В нашем примере мы получили одно совпадение, но может быть несколько совпадений. Учитывая совпадения, унифицированная подсветка разбивает текст поля на так называемые «фрагменты». Каждый фрагмент должен содержать как минимум одно совпадение. Унифицированная подсветка с использованием возможностей Java BreakIterator гарантирует, что каждый фрагмент представляет собой полное предложение, пока он не превышает fragment_size. Для нашего примера у нас есть один фрагмент со следующими свойствами (здесь показан только подмножество свойств):

Passage:
    startOffset: 147
    endOffset: 189
    score: 3.7158387
    matchStarts: [159, 164]
    matchEnds: [163, 167]
    numMatches: 2

Обратите внимание, как фрагмент имеет оценку, вычисленную с использованием формулы оценки BM25, адаптированной для фрагментов. Оценки позволяют нам выбрать фрагменты с лучшими оценками, если доступно больше фрагментов, чем требуется пользователем number_of_fragments. Оценки также позволяют нам сортировать фрагменты по order: "score", если этого требует пользователь.

В качестве заключительного шага унифицированная подсветка извлечёт из текста поля строку, соответствующую каждому фрагменту:

"I'll be the only fox in the world for you."

и отформатирует совпадения в этой строке тегами <em> и </em> с использованием информации фрагмента matchStarts и matchEnds:

I'll be the <em>only</em> <em>fox</em> in the world for you.

Этот тип отформатированных строк является конечным результатом подсветки, возвращённым пользователю.