Поиск k-ближайших соседей (kNN)

Поиск k ближайших соседей (kNN) находит k ближайших векторов к вектору запроса, измеряя их по метрике сходства.

Общие случаи использования kNN включают:

Elasticsearch поддерживает два метода для поиска kNN:

В большинстве случаев вам следует использовать приближенный поиск kNN. Приближенный поиск kNN предлагает более низкую задержку за счет более медленной индексации и несовершенной точности.

Точный, переборный поиск kNN гарантирует точные результаты, но плохо масштабируется с большими наборами данных. В этом подходе запрос script_score должен просмотреть каждый соответствующий документ для вычисления векторной функции, что может привести к медленной скорости поиска. Однако вы можете улучшить задержку, используя запрос для ограничения количества соответствующих документов, передаваемых функции. Если вы отфильтруете данные до небольшого подмножества документов, вы можете получить хорошую производительность поиска с помощью этого подхода.

Для выполнения приближенного поиска kNN используйте knn опцию для поиска одного или нескольких полей dense_vector с включенной индексацией.

Значение документа _score определяется сходством запроса и векторного документа. См. similarity для получения дополнительной информации о вычислении оценок поиска kNN.

Для получения результатов API поиска kNN находит приблизительное количество кандидатов ближайших соседей на каждом фрагменте. Поиск вычисляет сходство этих кандидатных векторов с вектором запроса, выбирая k наиболее похожих результатов с каждого фрагмента. Затем поиск объединяет результаты с каждого фрагмента, чтобы вернуть глобальную верхнюю k ближайших соседей.

Вы можете увеличить num_candidates для более точных результатов за счет более медленной скорости поиска. Поиск с высоким значением num_candidates рассматривает больше кандидатов с каждого фрагмента. Это занимает больше времени, но у поиска выше вероятность найти истинные k лучшие ближайшие соседи.

Аналогично, вы можете уменьшить num_candidates для более быстрого поиска с потенциально менее точными результатами.

API приближенного поиска kNN поддерживает векторы с byte значением в дополнение к векторам с float значением. Используйте knn опцию для поиска поля dense_vector с element_type установленным на byte и включенной индексацией.

Примечание: В дополнение к стандартному массиву байтов, вы также можете предоставить шестнадцатеричное значение строки для параметра query_vector. Например, запрос поиска выше также можно выразить следующим образом, что даст те же результаты

resp = client.search(
    index="byte-image-index",
    knn={
        "field": "byte-image-vector",
        "query_vector": "fb09",
        "k": 10,
        "num_candidates": 100
    },
    fields=[
        "title"
    ],
)
print(resp)

response = client.search(
  index: 'byte-image-index',
  body: {
    knn: {
      field: 'byte-image-vector',
      query_vector: 'fb09',
      k: 10,
      num_candidates: 100
    },
    fields: [
      'title'
    ]
  }
)
puts response

const response = await client.search({
  index: "byte-image-index",
  knn: {
    field: "byte-image-vector",
    query_vector: "fb09",
    k: 10,
    num_candidates: 100,
  },
  fields: ["title"],
});
console.log(response);

POST byte-image-index/_search
{
  "knn": {
    "field": "byte-image-vector",
    "query_vector": "fb09",
    "k": 10,
    "num_candidates": 100
  },
  "fields": [ "title" ]
}

Если вы хотите предоставить векторы float, но хотите экономии памяти векторов byte, вы можете использовать функцию квантования. Квантование позволяет предоставить векторы float, но внутренне они индексируются как векторы byte. Кроме того, исходные векторы float по-прежнему сохраняются в индексе.

Для использования квантования вы можете использовать тип индекса int8_hnsw или объект int4_hnsw в отображении dense_vector.

resp = client.indices.create(
    index="quantized-image-index",
    mappings={
        "properties": {
            "image-vector": {
                "type": "dense_vector",
                "element_type": "float",
                "dims": 2,
                "index": True,
                "index_options": {
                    "type": "int8_hnsw"
                }
            },
            "title": {
                "type": "text"
            }
        }
    },
)
print(resp)

response = client.indices.create(
  index: 'quantized-image-index',
  body: {
    mappings: {
      properties: {
        "image-vector": {
          type: 'dense_vector',
          element_type: 'float',
          dims: 2,
          index: true,
          index_options: {
            type: 'int8_hnsw'
          }
        },
        title: {
          type: 'text'
        }
      }
    }
  }
)
puts response

const response = await client.indices.create({
  index: "quantized-image-index",
  mappings: {
    properties: {
      "image-vector": {
        type: "dense_vector",
        element_type: "float",
        dims: 2,
        index: true,
        index_options: {
          type: "int8_hnsw",
        },
      },
      title: {
        type: "text",
      },
    },
  },
});
console.log(response);

PUT quantized-image-index
{
  "mappings": {
    "properties": {
      "image-vector": {
        "type": "dense_vector",
        "element_type": "float",
        "dims": 2,
        "index": true,
        "index_options": {
          "type": "int8_hnsw"
        }
      },
      "title": {
        "type": "text"
      }
    }
  }
}

Так как исходные float векторы все еще сохранены в индексе, вы можете дополнительно использовать их для повторной оценки. Это значит, что вы можете быстро выполнить поиск по всем векторам, используя индекс int8_hnsw, а затем переоценить только верхние k результаты. Это обеспечивает наилучшее из обоих миров: быстрый поиск и точную оценку.

resp = client.search(
    index="quantized-image-index",
    knn={
        "field": "image-vector",
        "query_vector": [
            0.1,
            -2
        ],
        "k": 15,
        "num_candidates": 100
    },
    fields=[
        "title"
    ],
    rescore={
        "window_size": 10,
        "query": {
            "rescore_query": {
                "script_score": {
                    "query": {
                        "match_all": {}
                    },
                    "script": {
                        "source": "cosineSimilarity(params.query_vector, 'image-vector') + 1.0",
                        "params": {
                            "query_vector": [
                                0.1,
                                -2
                            ]
                        }
                    }
                }
            }
        }
    },
)
print(resp)

response = client.search(
  index: 'quantized-image-index',
  body: {
    knn: {
      field: 'image-vector',
      query_vector: [
        0.1,
        -2
      ],
      k: 15,
      num_candidates: 100
    },
    fields: [
      'title'
    ],
    rescore: {
      window_size: 10,
      query: {
        rescore_query: {
          script_score: {
            query: {
              match_all: {}
            },
            script: {
              source: "cosineSimilarity(params.query_vector, 'image-vector') + 1.0",
              params: {
                query_vector: [
                  0.1,
                  -2
                ]
              }
            }
          }
        }
      }
    }
  }
)
puts response

const response = await client.search({
  index: "quantized-image-index",
  knn: {
    field: "image-vector",
    query_vector: [0.1, -2],
    k: 15,
    num_candidates: 100,
  },
  fields: ["title"],
  rescore: {
    window_size: 10,
    query: {
      rescore_query: {
        script_score: {
          query: {
            match_all: {},
          },
          script: {
            source:
              "cosineSimilarity(params.query_vector, 'image-vector') + 1.0",
            params: {
              query_vector: [0.1, -2],
            },
          },
        },
      },
    },
  },
});
console.log(response);

POST quantized-image-index/_search
{
  "knn": {
    "field": "image-vector",
    "query_vector": [0.1, -2],
    "k": 15,
    "num_candidates": 100
  },
  "fields": [ "title" ],
  "rescore": {
    "window_size": 10,
    "query": {
      "rescore_query": {
        "script_score": {
          "query": {
            "match_all": {}
          },
          "script": {
            "source": "cosineSimilarity(params.query_vector, 'image-vector') + 1.0",
            "params": {
              "query_vector": [0.1, -2]
            }
          }
        }
      }
    }
  }
}

API поиска kNN поддерживает ограничение поиска с помощью фильтра. Поиск вернёт верхние k документов, которые также соответствуют запросу фильтра.

Следующий запрос выполняет приближенный поиск kNN, отфильтрованный по полю file-type:

resp = client.search(
    index="image-index",
    knn={
        "field": "image-vector",
        "query_vector": [
            54,
            10,
            -2
        ],
        "k": 5,
        "num_candidates": 50,
        "filter": {
            "term": {
                "file-type": "png"
            }
        }
    },
    fields=[
        "title"
    ],
    source=False,
)
print(resp)

response = client.search(
  index: 'image-index',
  body: {
    knn: {
      field: 'image-vector',
      query_vector: [
        54,
        10,
        -2
      ],
      k: 5,
      num_candidates: 50,
      filter: {
        term: {
          "file-type": 'png'
        }
      }
    },
    fields: [
      'title'
    ],
    _source: false
  }
)
puts response

const response = await client.search({
  index: "image-index",
  knn: {
    field: "image-vector",
    query_vector: [54, 10, -2],
    k: 5,
    num_candidates: 50,
    filter: {
      term: {
        "file-type": "png",
      },
    },
  },
  fields: ["title"],
  _source: false,
});
console.log(response);

POST image-index/_search
{
  "knn": {
    "field": "image-vector",
    "query_vector": [54, 10, -2],
    "k": 5,
    "num_candidates": 50,
    "filter": {
      "term": {
        "file-type": "png"
      }
    }
  },
  "fields": ["title"],
  "_source": false
}

В отличие от традиционной фильтрации запросов, где более строгие фильтры обычно приводят к более быстрым запросам, применение фильтров в приближённом поиске kNN с индексом HNSW может снизить производительность. Это происходит потому, что поиск в графе HNSW требует дополнительных исследований, чтобы получить num_candidates документы, удовлетворяющие критериям фильтра.

Чтобы избежать существенных проблем с производительностью, Lucene реализует следующие стратегии по сегментам:

Вы можете выполнить гибридный поиск, указав knn параметр и query:

resp = client.search(
    index="image-index",
    query={
        "match": {
            "title": {
                "query": "mountain lake",
                "boost": 0.9
            }
        }
    },
    knn={
        "field": "image-vector",
        "query_vector": [
            54,
            10,
            -2
        ],
        "k": 5,
        "num_candidates": 50,
        "boost": 0.1
    },
    size=10,
)
print(resp)

response = client.search(
  index: 'image-index',
  body: {
    query: {
      match: {
        title: {
          query: 'mountain lake',
          boost: 0.9
        }
      }
    },
    knn: {
      field: 'image-vector',
      query_vector: [
        54,
        10,
        -2
      ],
      k: 5,
      num_candidates: 50,
      boost: 0.1
    },
    size: 10
  }
)
puts response

const response = await client.search({
  index: "image-index",
  query: {
    match: {
      title: {
        query: "mountain lake",
        boost: 0.9,
      },
    },
  },
  knn: {
    field: "image-vector",
    query_vector: [54, 10, -2],
    k: 5,
    num_candidates: 50,
    boost: 0.1,
  },
  size: 10,
});
console.log(response);

POST image-index/_search
{
  "query": {
    "match": {
      "title": {
        "query": "mountain lake",
        "boost": 0.9
      }
    }
  },
  "knn": {
    "field": "image-vector",
    "query_vector": [54, 10, -2],
    "k": 5,
    "num_candidates": 50,
    "boost": 0.1
  },
  "size": 10
}

Этот поиск находит глобально наилучшие совпадения векторов k = 5, объединяет их с совпадениями из запроса match и, наконец, возвращает 10 документов с наибольшим рейтингом. knn и query совпадения объединяются через дизъюнкцию, как если бы вы использовали булеву операцию или между ними. Верхние k векторные результаты представляют собой глобальных ближайших соседей по всем фрагментам индекса.

Оценка каждого результата является суммой knn и query оценок. Вы можете указать значение boost, чтобы придать вес каждой оценке в сумме. В приведённом выше примере оценки будут вычисляться как

score = 0.9 * match_score + 0.1 * knn_score

knn параметр также может быть использован с aggregations. В общем случае Elasticsearch вычисляет агрегации по всем документам, соответствующим запросу. Таким образом, для приближённого поиска kNN агрегации рассчитываются по верхним k ближайшим документам. Если в поиске также используется query, тогда агрегации рассчитываются по объединённому набору knn и query совпадений.

Поиск kNN позволяет выполнять семантический поиск, используя предварительно развернутую модель встраивания текста. Вместо буквального соответствия по поисковым терминам, семантический поиск извлекает результаты на основе намерения и контекстуального смысла поискового запроса.

Под капотом, модель NLP встраивания текста генерирует плотный вектор из входной строки запроса, называемый model_text, который вы предоставляете. Затем он ищется в индексе, содержащем плотные векторы, созданные с помощью той же модели машинного обучения встраивания текста. Результаты поиска семантически похожи, как было обучено моделью.

Обратитесь к развернутой модели встраивания текста или к развертыванию модели в объекте query_vector_builder и укажите поисковый запрос как model_text:

(...)
{
  "knn": {
    "field": "dense-vector-field",
    "k": 10,
    "num_candidates": 100,
    "query_vector_builder": {
      "text_embedding": { 
        "model_id": "my-text-embedding-model", 
        "model_text": "The opposite of blue" 
      }
    }
  }
}
(...)

Дополнительную информацию о развертывании обученной модели и её использовании для создания векторных представлений текста см. в этом примере.

В дополнение к гибридному поиску, вы можете искать сразу по нескольким полям векторов kNN:

resp = client.search(
    index="image-index",
    query={
        "match": {
            "title": {
                "query": "mountain lake",
                "boost": 0.9
            }
        }
    },
    knn=[
        {
            "field": "image-vector",
            "query_vector": [
                54,
                10,
                -2
            ],
            "k": 5,
            "num_candidates": 50,
            "boost": 0.1
        },
        {
            "field": "title-vector",
            "query_vector": [
                1,
                20,
                -52,
                23,
                10
            ],
            "k": 10,
            "num_candidates": 10,
            "boost": 0.5
        }
    ],
    size=10,
)
print(resp)

response = client.search(
  index: 'image-index',
  body: {
    query: {
      match: {
        title: {
          query: 'mountain lake',
          boost: 0.9
        }
      }
    },
    knn: [
      {
        field: 'image-vector',
        query_vector: [
          54,
          10,
          -2
        ],
        k: 5,
        num_candidates: 50,
        boost: 0.1
      },
      {
        field: 'title-vector',
        query_vector: [
          1,
          20,
          -52,
          23,
          10
        ],
        k: 10,
        num_candidates: 10,
        boost: 0.5
      }
    ],
    size: 10
  }
)
puts response

const response = await client.search({
  index: "image-index",
  query: {
    match: {
      title: {
        query: "mountain lake",
        boost: 0.9,
      },
    },
  },
  knn: [
    {
      field: "image-vector",
      query_vector: [54, 10, -2],
      k: 5,
      num_candidates: 50,
      boost: 0.1,
    },
    {
      field: "title-vector",
      query_vector: [1, 20, -52, 23, 10],
      k: 10,
      num_candidates: 10,
      boost: 0.5,
    },
  ],
  size: 10,
});
console.log(response);

POST image-index/_search
{
  "query": {
    "match": {
      "title": {
        "query": "mountain lake",
        "boost": 0.9
      }
    }
  },
  "knn": [ {
    "field": "image-vector",
    "query_vector": [54, 10, -2],
    "k": 5,
    "num_candidates": 50,
    "boost": 0.1
  },
  {
    "field": "title-vector",
    "query_vector": [1, 20, -52, 23, 10],
    "k": 10,
    "num_candidates": 10,
    "boost": 0.5
  }],
  "size": 10
}

Этот поиск находит глобально наилучшие совпадения векторов k = 5 для image-vector и глобальные k = 10 для title-vector. Эти значения затем объединяются с результатами запроса match, и возвращаются 10 лучших документов. Несколько knn записей и query совпадения объединяются посредством дизъюнкции, как если бы вы использовали булеву операцию или между ними. Верхние k векторные результаты представляют собой глобальных ближайших соседей по всем фрагментам индекса.

Оценка документа с указанными выше коэффициентами усиления будет следующей:

score = 0.9 * match_score + 0.1 * knn_score_image-vector + 0.5 * knn_score_title-vector

Хотя kNN является мощным инструментом, он всегда пытается вернуть k ближайших соседей. Следовательно, при использовании knn с filter, вы могли бы отфильтровать все релевантные документы и оставить только нерелевантные для поиска. В этой ситуации knn всё равно сделает всё возможное, чтобы вернуть k ближайших соседей, даже если эти соседи могут находиться далеко в векторном пространстве.

Для устранения этой проблемы доступен параметр similarity в предложении knn. Это минимальное необходимое сходство для того, чтобы вектор считался совпадением. knn процесс поиска с этим параметром выглядит так:

Для каждого настроенного сходства, вот соответствующая инвертированная _score функция. Это необходимо, если вы хотите фильтровать с точки зрения _score, вы можете выполнить эту небольшую трансформацию для правильного отклонения нерелевантных результатов.

Вот пример. В этом примере мы ищем заданные query_vector для k ближайших соседей. Однако с применением filter и требованием, чтобы найденные векторы имели как минимум заданное similarity между ними.

resp = client.search(
    index="image-index",
    knn={
        "field": "image-vector",
        "query_vector": [
            1,
            5,
            -20
        ],
        "k": 5,
        "num_candidates": 50,
        "similarity": 36,
        "filter": {
            "term": {
                "file-type": "png"
            }
        }
    },
    fields=[
        "title"
    ],
    source=False,
)
print(resp)

response = client.search(
  index: 'image-index',
  body: {
    knn: {
      field: 'image-vector',
      query_vector: [
        1,
        5,
        -20
      ],
      k: 5,
      num_candidates: 50,
      similarity: 36,
      filter: {
        term: {
          "file-type": 'png'
        }
      }
    },
    fields: [
      'title'
    ],
    _source: false
  }
)
puts response

const response = await client.search({
  index: "image-index",
  knn: {
    field: "image-vector",
    query_vector: [1, 5, -20],
    k: 5,
    num_candidates: 50,
    similarity: 36,
    filter: {
      term: {
        "file-type": "png",
      },
    },
  },
  fields: ["title"],
  _source: false,
});
console.log(response);

POST image-index/_search
{
  "knn": {
    "field": "image-vector",
    "query_vector": [1, 5, -20],
    "k": 5,
    "num_candidates": 50,
    "similarity": 36,
    "filter": {
      "term": {
        "file-type": "png"
      }
    }
  },
  "fields": ["title"],
  "_source": false
}

В нашем наборе данных, единственный документ с типом файла png имеет вектор [42, 8, -15]. Расстояние l2_norm между [42, 8, -15] и [1, 5, -20] равно 41.412, что больше, чем настроенное сходство 36. Это означает, что этот поиск не вернёт совпадений.

Часто текст превышает предел токенов конкретной модели и требует фрагментации перед построением встраиваний для отдельных фрагментов. При использовании nested с dense_vector, вы можете достичь поиска ближайшего фрагмента без копирования метаданных документа верхнего уровня.

Вот простой индекс векторов фрагментов, который хранит векторы и некоторые метаданные верхнего уровня для фильтрации.

resp = client.indices.create(
    index="passage_vectors",
    mappings={
        "properties": {
            "full_text": {
                "type": "text"
            },
            "creation_time": {
                "type": "date"
            },
            "paragraph": {
                "type": "nested",
                "properties": {
                    "vector": {
                        "type": "dense_vector",
                        "dims": 2,
                        "index_options": {
                            "type": "hnsw"
                        }
                    },
                    "text": {
                        "type": "text",
                        "index": False
                    }
                }
            }
        }
    },
)
print(resp)

response = client.indices.create(
  index: 'passage_vectors',
  body: {
    mappings: {
      properties: {
        full_text: {
          type: 'text'
        },
        creation_time: {
          type: 'date'
        },
        paragraph: {
          type: 'nested',
          properties: {
            vector: {
              type: 'dense_vector',
              dims: 2,
              index_options: {
                type: 'hnsw'
              }
            },
            text: {
              type: 'text',
              index: false
            }
          }
        }
      }
    }
  }
)
puts response

const response = await client.indices.create({
  index: "passage_vectors",
  mappings: {
    properties: {
      full_text: {
        type: "text",
      },
      creation_time: {
        type: "date",
      },
      paragraph: {
        type: "nested",
        properties: {
          vector: {
            type: "dense_vector",
            dims: 2,
            index_options: {
              type: "hnsw",
            },
          },
          text: {
            type: "text",
            index: false,
          },
        },
      },
    },
  },
});
console.log(response);

PUT passage_vectors
{
    "mappings": {
        "properties": {
            "full_text": {
                "type": "text"
            },
            "creation_time": {
                "type": "date"
            },
            "paragraph": {
                "type": "nested",
                "properties": {
                    "vector": {
                        "type": "dense_vector",
                        "dims": 2,
                        "index_options": {
                            "type": "hnsw"
                        }
                    },
                    "text": {
                        "type": "text",
                        "index": false
                    }
                }
            }
        }
    }
}

С указанным выше отображением, мы можем индексировать несколько векторов фрагментов вместе с хранением текста отдельных фрагментов.

resp = client.bulk(
    index="passage_vectors",
    refresh=True,
    operations=[
        {
            "index": {
                "_id": "1"
            }
        },
        {
            "full_text": "first paragraph another paragraph",
            "creation_time": "2019-05-04",
            "paragraph": [
                {
                    "vector": [
                        0.45,
                        45
                    ],
                    "text": "first paragraph",
                    "paragraph_id": "1"
                },
                {
                    "vector": [
                        0.8,
                        0.6
                    ],
                    "text": "another paragraph",
                    "paragraph_id": "2"
                }
            ]
        },
        {
            "index": {
                "_id": "2"
            }
        },
        {
            "full_text": "number one paragraph number two paragraph",
            "creation_time": "2020-05-04",
            "paragraph": [
                {
                    "vector": [
                        1.2,
                        4.5
                    ],
                    "text": "number one paragraph",
                    "paragraph_id": "1"
                },
                {
                    "vector": [
                        -1,
                        42
                    ],
                    "text": "number two paragraph",
                    "paragraph_id": "2"
                }
            ]
        }
    ],
)
print(resp)

response = client.bulk(
  index: 'passage_vectors',
  refresh: true,
  body: [
    {
      index: {
        _id: '1'
      }
    },
    {
      full_text: 'first paragraph another paragraph',
      creation_time: '2019-05-04',
      paragraph: [
        {
          vector: [
            0.45,
            45
          ],
          text: 'first paragraph',
          paragraph_id: '1'
        },
        {
          vector: [
            0.8,
            0.6
          ],
          text: 'another paragraph',
          paragraph_id: '2'
        }
      ]
    },
    {
      index: {
        _id: '2'
      }
    },
    {
      full_text: 'number one paragraph number two paragraph',
      creation_time: '2020-05-04',
      paragraph: [
        {
          vector: [
            1.2,
            4.5
          ],
          text: 'number one paragraph',
          paragraph_id: '1'
        },
        {
          vector: [
            -1,
            42
          ],
          text: 'number two paragraph',
          paragraph_id: '2'
        }
      ]
    }
  ]
)
puts response

const response = await client.bulk({
  index: "passage_vectors",
  refresh: "true",
  operations: [
    {
      index: {
        _id: "1",
      },
    },
    {
      full_text: "first paragraph another paragraph",
      creation_time: "2019-05-04",
      paragraph: [
        {
          vector: [0.45, 45],
          text: "first paragraph",
          paragraph_id: "1",
        },
        {
          vector: [0.8, 0.6],
          text: "another paragraph",
          paragraph_id: "2",
        },
      ],
    },
    {
      index: {
        _id: "2",
      },
    },
    {
      full_text: "number one paragraph number two paragraph",
      creation_time: "2020-05-04",
      paragraph: [
        {
          vector: [1.2, 4.5],
          text: "number one paragraph",
          paragraph_id: "1",
        },
        {
          vector: [-1, 42],
          text: "number two paragraph",
          paragraph_id: "2",
        },
      ],
    },
  ],
});
console.log(response);

POST passage_vectors/_bulk?refresh=true
{ "index": { "_id": "1" } }
{ "full_text": "first paragraph another paragraph", "creation_time": "2019-05-04", "paragraph": [ { "vector": [ 0.45, 45 ], "text": "first paragraph", "paragraph_id": "1" }, { "vector": [ 0.8, 0.6 ], "text": "another paragraph", "paragraph_id": "2" } ] }
{ "index": { "_id": "2" } }
{ "full_text": "number one paragraph number two paragraph", "creation_time": "2020-05-04", "paragraph": [ { "vector": [ 1.2, 4.5 ], "text": "number one paragraph", "paragraph_id": "1" }, { "vector": [ -1, 42 ], "text": "number two paragraph", "paragraph_id": "2" } ] }

Запрос будет очень похож на типичный поиск kNN:

resp = client.search(
    index="passage_vectors",
    fields=[
        "full_text",
        "creation_time"
    ],
    source=False,
    knn={
        "query_vector": [
            0.45,
            45
        ],
        "field": "paragraph.vector",
        "k": 2,
        "num_candidates": 2
    },
)
print(resp)

response = client.search(
  index: 'passage_vectors',
  body: {
    fields: [
      'full_text',
      'creation_time'
    ],
    _source: false,
    knn: {
      query_vector: [
        0.45,
        45
      ],
      field: 'paragraph.vector',
      k: 2,
      num_candidates: 2
    }
  }
)
puts response

const response = await client.search({
  index: "passage_vectors",
  fields: ["full_text", "creation_time"],
  _source: false,
  knn: {
    query_vector: [0.45, 45],
    field: "paragraph.vector",
    k: 2,
    num_candidates: 2,
  },
});
console.log(response);

POST passage_vectors/_search
{
    "fields": ["full_text", "creation_time"],
    "_source": false,
    "knn": {
        "query_vector": [
            0.45,
            45
        ],
        "field": "paragraph.vector",
        "k": 2,
        "num_candidates": 2
    }
}

Обратите внимание ниже, что, хотя у нас есть 4 вектора в целом, мы по-прежнему возвращаем два документа. Поиск kNN по вложенным dense_vectors всегда будет разнообразить лучшие результаты по документам верхнего уровня. То есть, будет возвращено несколько документов верхнего уровня, упорядоченных по вектору ближайшего фрагмента (например, "paragraph.vector").

{
    "took": 4,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 2,
            "relation": "eq"
        },
        "max_score": 1.0,
        "hits": [
            {
                "_index": "passage_vectors",
                "_id": "1",
                "_score": 1.0,
                "fields": {
                    "creation_time": [
                        "2019-05-04T00:00:00.000Z"
                    ],
                    "full_text": [
                        "first paragraph another paragraph"
                    ]
                }
            },
            {
                "_index": "passage_vectors",
                "_id": "2",
                "_score": 0.9997144,
                "fields": {
                    "creation_time": [
                        "2020-05-04T00:00:00.000Z"
                    ],
                    "full_text": [
                        "number one paragraph number two paragraph"
                    ]
                }
            }
        ]
    }
}

Что если вы хотите отфильтровать по некоторым метаданным документа верхнего уровня? Вы можете сделать это, добавив filter к вашему предложению knn.

resp = client.search(
    index="passage_vectors",
    fields=[
        "creation_time",
        "full_text"
    ],
    source=False,
    knn={
        "query_vector": [
            0.45,
            45
        ],
        "field": "paragraph.vector",
        "k": 2,
        "num_candidates": 2,
        "filter": {
            "bool": {
                "filter": [
                    {
                        "range": {
                            "creation_time": {
                                "gte": "2019-05-01",
                                "lte": "2019-05-05"
                            }
                        }
                    }
                ]
            }
        }
    },
)
print(resp)

response = client.search(
  index: 'passage_vectors',
  body: {
    fields: [
      'creation_time',
      'full_text'
    ],
    _source: false,
    knn: {
      query_vector: [
        0.45,
        45
      ],
      field: 'paragraph.vector',
      k: 2,
      num_candidates: 2,
      filter: {
        bool: {
          filter: [
            {
              range: {
                creation_time: {
                  gte: '2019-05-01',
                  lte: '2019-05-05'
                }
              }
            }
          ]
        }
      }
    }
  }
)
puts response

const response = await client.search({
  index: "passage_vectors",
  fields: ["creation_time", "full_text"],
  _source: false,
  knn: {
    query_vector: [0.45, 45],
    field: "paragraph.vector",
    k: 2,
    num_candidates: 2,
    filter: {
      bool: {
        filter: [
          {
            range: {
              creation_time: {
                gte: "2019-05-01",
                lte: "2019-05-05",
              },
            },
          },
        ],
      },
    },
  },
});
console.log(response);

POST passage_vectors/_search
{
    "fields": [
        "creation_time",
        "full_text"
    ],
    "_source": false,
    "knn": {
        "query_vector": [
            0.45,
            45
        ],
        "field": "paragraph.vector",
        "k": 2,
        "num_candidates": 2,
        "filter": {
            "bool": {
                "filter": [
                    {
                        "range": {
                            "creation_time": {
                                "gte": "2019-05-01",
                                "lte": "2019-05-05"
                            }
                        }
                    }
                ]
            }
        }
    }
}

Теперь мы отфильтровали по верхнему уровню "creation_time", и только один документ попадает в этот диапазон.

{
    "took": 4,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 1,
            "relation": "eq"
        },
        "max_score": 1.0,
        "hits": [
            {
                "_index": "passage_vectors",
                "_id": "1",
                "_score": 1.0,
                "fields": {
                    "creation_time": [
                        "2019-05-04T00:00:00.000Z"
                    ],
                    "full_text": [
                        "first paragraph another paragraph"
                    ]
                }
            }
        ]
    }
}

Кроме того, если вы хотите извлечь ближайший фрагмент для сопоставленного документа, вы можете указать inner_hits в предложении knn.

resp = client.search(
    index="passage_vectors",
    fields=[
        "creation_time",
        "full_text"
    ],
    source=False,
    knn={
        "query_vector": [
            0.45,
            45
        ],
        "field": "paragraph.vector",
        "k": 2,
        "num_candidates": 2,
        "inner_hits": {
            "_source": False,
            "fields": [
                "paragraph.text"
            ],
            "size": 1
        }
    },
)
print(resp)

const response = await client.search({
  index: "passage_vectors",
  fields: ["creation_time", "full_text"],
  _source: false,
  knn: {
    query_vector: [0.45, 45],
    field: "paragraph.vector",
    k: 2,
    num_candidates: 2,
    inner_hits: {
      _source: false,
      fields: ["paragraph.text"],
      size: 1,
    },
  },
});
console.log(response);

POST passage_vectors/_search
{
    "fields": [
        "creation_time",
        "full_text"
    ],
    "_source": false,
    "knn": {
        "query_vector": [
            0.45,
            45
        ],
        "field": "paragraph.vector",
        "k": 2,
        "num_candidates": 2,
        "inner_hits": {
            "_source": false,
            "fields": [
                "paragraph.text"
            ],
            "size": 1
        }
    }
}

Теперь результат будет содержать ближайший найденный абзац при поиске.

{
    "took": 4,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 2,
            "relation": "eq"
        },
        "max_score": 1.0,
        "hits": [
            {
                "_index": "passage_vectors",
                "_id": "1",
                "_score": 1.0,
                "fields": {
                    "creation_time": [
                        "2019-05-04T00:00:00.000Z"
                    ],
                    "full_text": [
                        "first paragraph another paragraph"
                    ]
                },
                "inner_hits": {
                    "paragraph": {
                        "hits": {
                            "total": {
                                "value": 2,
                                "relation": "eq"
                            },
                            "max_score": 1.0,
                            "hits": [
                                {
                                    "_index": "passage_vectors",
                                    "_id": "1",
                                    "_nested": {
                                        "field": "paragraph",
                                        "offset": 0
                                    },
                                    "_score": 1.0,
                                    "fields": {
                                        "paragraph": [
                                            {
                                                "text": [
                                                    "first paragraph"
                                                ]
                                            }
                                        ]
                                    }
                                }
                            ]
                        }
                    }
                }
            },
            {
                "_index": "passage_vectors",
                "_id": "2",
                "_score": 0.9997144,
                "fields": {
                    "creation_time": [
                        "2020-05-04T00:00:00.000Z"
                    ],
                    "full_text": [
                        "number one paragraph number two paragraph"
                    ]
                },
                "inner_hits": {
                    "paragraph": {
                        "hits": {
                            "total": {
                                "value": 2,
                                "relation": "eq"
                            },
                            "max_score": 0.9997144,
                            "hits": [
                                {
                                    "_index": "passage_vectors",
                                    "_id": "2",
                                    "_nested": {
                                        "field": "paragraph",
                                        "offset": 1
                                    },
                                    "_score": 0.9997144,
                                    "fields": {
                                        "paragraph": [
                                            {
                                                "text": [
                                                    "number two paragraph"
                                                ]
                                            }
                                        ]
                                    }
                                }
                            ]
                        }
                    }
                }
            }
        ]
    }
}

Для приближенного поиска kNN Elasticsearch хранит значения плотных векторов каждого сегмента в виде графа HNSW. Индексирование векторов для приближенного поиска kNN может занимать существенное время из-за дороговизны построения этих графов. Возможно, вам потребуется увеличить таймаут запросов клиента для индекса и массовых запросов. Руководство по настройке приближенного поиска kNN содержит важную информацию по производительности индекса и о том, как конфигурация индекса может повлиять на производительность поиска.

Помимо параметров настройки на этапе поиска, алгоритм HNSW имеет параметры на этапе индексирования, которые обеспечивают баланс между стоимостью построения графа, скоростью поиска и точностью. При настройке отображения dense_vector вы можете использовать аргумент index_options для настройки этих параметров:

resp = client.indices.create(
    index="image-index",
    mappings={
        "properties": {
            "image-vector": {
                "type": "dense_vector",
                "dims": 3,
                "similarity": "l2_norm",
                "index_options": {
                    "type": "hnsw",
                    "m": 32,
                    "ef_construction": 100
                }
            }
        }
    },
)
print(resp)

response = client.indices.create(
  index: 'image-index',
  body: {
    mappings: {
      properties: {
        "image-vector": {
          type: 'dense_vector',
          dims: 3,
          similarity: 'l2_norm',
          index_options: {
            type: 'hnsw',
            m: 32,
            ef_construction: 100
          }
        }
      }
    }
  }
)
puts response

const response = await client.indices.create({
  index: "image-index",
  mappings: {
    properties: {
      "image-vector": {
        type: "dense_vector",
        dims: 3,
        similarity: "l2_norm",
        index_options: {
          type: "hnsw",
          m: 32,
          ef_construction: 100,
        },
      },
    },
  },
});
console.log(response);

PUT image-index
{
  "mappings": {
    "properties": {
      "image-vector": {
        "type": "dense_vector",
        "dims": 3,
        "similarity": "l2_norm",
        "index_options": {
          "type": "hnsw",
          "m": 32,
          "ef_construction": 100
        }
      }
    }
  }
}

Чтобы выполнить точный поиск kNN, используйте запрос script_score с функцией вектора.

Все формы квантования приведут к некоторой потере точности, и по мере увеличения уровня квантования потеря точности также будет увеличиваться. Как правило, мы обнаружили, что: - int8 требует минимальной, если вообще какой-либо, переоценки - int4 требует некоторой переоценки для достижения большей точности и более высоких значений отзыва в сценариях с большими объёмами. Как правило, выборочное увеличение на 1,5-2 раза восстанавливает большую часть потери точности. - bbq требует переоценки, за исключением исключительно больших индексов или моделей, специально разработанных для квантования. Мы обнаружили, что выборочное увеличение на 3-5 раз обычно достаточно. Но для меньшего количества измерений или векторов, которые плохо квантуются, может потребоваться большее выборочное увеличение.

Существует два основных способа выборочного увеличения и переоценки. Первый — использование раздела переоценки в запросе _search.

Вот пример использования поиска на верхнем уровне knn с выборочным увеличением и использованием rescore для повторной сортировки результатов:

resp = client.search(
    index="my-index",
    size=10,
    knn={
        "query_vector": [
            0.04283529,
            0.85670587,
            -0.51402352,
            0
        ],
        "field": "my_int4_vector",
        "k": 20,
        "num_candidates": 50
    },
    rescore={
        "window_size": 20,
        "query": {
            "rescore_query": {
                "script_score": {
                    "query": {
                        "match_all": {}
                    },
                    "script": {
                        "source": "(dotProduct(params.queryVector, 'my_int4_vector') + 1.0)",
                        "params": {
                            "queryVector": [
                                0.04283529,
                                0.85670587,
                                -0.51402352,
                                0
                            ]
                        }
                    }
                }
            },
            "query_weight": 0,
            "rescore_query_weight": 1
        }
    },
)
print(resp)

const response = await client.search({
  index: "my-index",
  size: 10,
  knn: {
    query_vector: [0.04283529, 0.85670587, -0.51402352, 0],
    field: "my_int4_vector",
    k: 20,
    num_candidates: 50,
  },
  rescore: {
    window_size: 20,
    query: {
      rescore_query: {
        script_score: {
          query: {
            match_all: {},
          },
          script: {
            source: "(dotProduct(params.queryVector, 'my_int4_vector') + 1.0)",
            params: {
              queryVector: [0.04283529, 0.85670587, -0.51402352, 0],
            },
          },
        },
      },
      query_weight: 0,
      rescore_query_weight: 1,
    },
  },
});
console.log(response);

POST /my-index/_search
{
  "size": 10, 
  "knn": {
    "query_vector": [0.04283529, 0.85670587, -0.51402352, 0],
    "field": "my_int4_vector",
    "k": 20, 
    "num_candidates": 50
  },
  "rescore": {
    "window_size": 20, 
    "query": {
      "rescore_query": {
        "script_score": {
          "query": {
            "match_all": {}
          },
          "script": {
            "source": "(dotProduct(params.queryVector, 'my_int4_vector') + 1.0)", 
            "params": {
              "queryVector": [0.04283529, 0.85670587, -0.51402352, 0]
            }
          }
        }
      },
      "query_weight": 0, 
      "rescore_query_weight": 1 
    }
  }
}

Второй способ — оценка по каждому фрагменту с помощью запроса knn и запроса script_score. Как правило, это означает, что переоценка будет производиться по каждому фрагменту, но это может увеличить общий охват за счет вычислительных ресурсов.

resp = client.search(
    index="my-index",
    size=10,
    query={
        "script_score": {
            "query": {
                "knn": {
                    "query_vector": [
                        0.04283529,
                        0.85670587,
                        -0.51402352,
                        0
                    ],
                    "field": "my_int4_vector",
                    "num_candidates": 20
                }
            },
            "script": {
                "source": "(dotProduct(params.queryVector, 'my_int4_vector') + 1.0)",
                "params": {
                    "queryVector": [
                        0.04283529,
                        0.85670587,
                        -0.51402352,
                        0
                    ]
                }
            }
        }
    },
)
print(resp)

const response = await client.search({
  index: "my-index",
  size: 10,
  query: {
    script_score: {
      query: {
        knn: {
          query_vector: [0.04283529, 0.85670587, -0.51402352, 0],
          field: "my_int4_vector",
          num_candidates: 20,
        },
      },
      script: {
        source: "(dotProduct(params.queryVector, 'my_int4_vector') + 1.0)",
        params: {
          queryVector: [0.04283529, 0.85670587, -0.51402352, 0],
        },
      },
    },
  },
});
console.log(response);

POST /my-index/_search
{
  "size": 10, 
  "query": {
    "script_score": {
      "query": {
        "knn": { 
          "query_vector": [0.04283529, 0.85670587, -0.51402352, 0],
          "field": "my_int4_vector",
          "num_candidates": 20 
        }
      },
      "script": {
        "source": "(dotProduct(params.queryVector, 'my_int4_vector') + 1.0)", 
        "params": {
          "queryVector": [0.04283529, 0.85670587, -0.51402352, 0]
        }
      }
    }
  }
}