Учебное пособие: семантический поиск с ELSER

Elastic Learned Sparse EncodeR — или ELSER — это модель NLP, обученная Elastic, которая позволяет выполнять семантический поиск, используя разреженное векторное представление. Вместо буквального соответствия поисковым запросам, семантический поиск извлекает результаты, основанные на намерениях и контекстуальном значении поискового запроса.

Инструкции в этом учебнике показывают, как использовать ELSER для выполнения семантического поиска по вашим данным.

Для выполнения семантического поиска с помощью ELSER у вас должна быть развернута модель NLP в вашем кластере. Обратитесь к документации ELSER, чтобы узнать, как загрузить и развернуть модель.

Сначала необходимо создать сопоставление целевого индекса — индекса, который содержит токены, созданные моделью на основе вашего текста. Целевой индекс должен иметь поле с sparse_vector или rank_features типом поля для индексирования вывода ELSER.

resp = client.indices.create(
    index="my-index",
    mappings={
        "properties": {
            "content_embedding": {
                "type": "sparse_vector"
            },
            "content": {
                "type": "text"
            }
        }
    },
)
print(resp)

response = client.indices.create(
  index: 'my-index',
  body: {
    mappings: {
      properties: {
        content_embedding: {
          type: 'sparse_vector'
        },
        content: {
          type: 'text'
        }
      }
    }
  }
)
puts response

const response = await client.indices.create({
  index: "my-index",
  mappings: {
    properties: {
      content_embedding: {
        type: "sparse_vector",
      },
      content: {
        type: "text",
      },
    },
  },
});
console.log(response);

PUT my-index
{
  "mappings": {
    "properties": {
      "content_embedding": { 
        "type": "sparse_vector" 
      },
      "content": { 
        "type": "text" 
      }
    }
  }
}

Чтобы узнать, как оптимизировать занимаемое место, обратитесь к разделу Сохранение дискового пространства путём исключения токенов ELSER из исходного документа.

Создайте конвейер загрузки с процессором вывода, чтобы использовать ELSER для вывода на данные, которые загружаются в конвейер.

resp = client.ingest.put_pipeline(
    id="elser-v2-test",
    processors=[
        {
            "inference": {
                "model_id": ".elser_model_2",
                "input_output": [
                    {
                        "input_field": "content",
                        "output_field": "content_embedding"
                    }
                ]
            }
        }
    ],
)
print(resp)

response = client.ingest.put_pipeline(
  id: 'elser-v2-test',
  body: {
    processors: [
      {
        inference: {
          model_id: '.elser_model_2',
          input_output: [
            {
              input_field: 'content',
              output_field: 'content_embedding'
            }
          ]
        }
      }
    ]
  }
)
puts response

const response = await client.ingest.putPipeline({
  id: "elser-v2-test",
  processors: [
    {
      inference: {
        model_id: ".elser_model_2",
        input_output: [
          {
            input_field: "content",
            output_field: "content_embedding",
          },
        ],
      },
    },
  ],
});
console.log(response);

PUT _ingest/pipeline/elser-v2-test
{
  "processors": [
    {
      "inference": {
        "model_id": ".elser_model_2",
        "input_output": [ 
          {
            "input_field": "content",
            "output_field": "content_embedding"
          }
        ]
      }
    }
  ]
}

На этом шаге вы загружаете данные, которые позже используете в конвейере загрузки вывода для извлечения токенов из них.

Используйте набор данных msmarco-passagetest2019-top1000, который является подмножеством набора данных MS MARCO Passage Ranking. Он состоит из 200 запросов, каждый из которых сопровождается списком соответствующих текстовых фрагментов. Все уникальные фрагменты вместе с их идентификаторами были извлечены из этого набора данных и объединены в tsv-файл.

Загрузите файл и загрузите его в свой кластер, используя Загрузчик файлов в интерфейсе. После анализа ваших данных нажмите Заменить настройки. В разделе Изменить имена полей назначьте id первому столбцу и content второму. Нажмите Применить, затем Импортировать. Назовите индекс test-data и нажмите Импортировать. После завершения загрузки вы увидите индекс под названием test-data с 182 469 документами.

Создайте токены из текста, повторно индексируя данные через конвейер вывода, использующий ELSER в качестве модели вывода.

resp = client.reindex(
    wait_for_completion=False,
    source={
        "index": "test-data",
        "size": 50
    },
    dest={
        "index": "my-index",
        "pipeline": "elser-v2-test"
    },
)
print(resp)

response = client.reindex(
  wait_for_completion: false,
  body: {
    source: {
      index: 'test-data',
      size: 50
    },
    dest: {
      index: 'my-index',
      pipeline: 'elser-v2-test'
    }
  }
)
puts response

const response = await client.reindex({
  wait_for_completion: "false",
  source: {
    index: "test-data",
    size: 50,
  },
  dest: {
    index: "my-index",
    pipeline: "elser-v2-test",
  },
});
console.log(response);

POST _reindex?wait_for_completion=false
{
  "source": {
    "index": "test-data",
    "size": 50 
  },
  "dest": {
    "index": "my-index",
    "pipeline": "elser-v2-test"
  }
}

Вызов возвращает идентификатор задачи для отслеживания прогресса:

resp = client.tasks.get(
    task_id="<task_id>",
)
print(resp)

const response = await client.tasks.get({
  task_id: "<task_id>",
});
console.log(response);

GET _tasks/<task_id>

Вы также можете открыть интерфейс «Обученные модели», выбрать вкладку «Конвейеры» в ELSER, чтобы отслеживать прогресс.

Переиндексация больших наборов данных может занять много времени. Вы можете протестировать этот рабочий процесс, используя только подмножество набора данных. Сделайте это, отменив процесс повторной индексации и сгенерировав вложения только для подмножества, которое было переиндексировано. Следующий API-запрос отменит задачу повторной индексации:

resp = client.tasks.cancel(
    task_id="<task_id>",
)
print(resp)

const response = await client.tasks.cancel({
  task_id: "<task_id>",
});
console.log(response);

POST _tasks/<task_id>/_cancel

Для выполнения семантического поиска используйте sparse_vector запрос и укажите текст запроса и идентификатор вывода, связанный с вашей моделью ELSER. В примере ниже используется текст запроса "Как избежать мышечных болей после бега?", поле content_embedding содержит сгенерированный вывод ELSER:

resp = client.search(
    index="my-index",
    query={
        "sparse_vector": {
            "field": "content_embedding",
            "inference_id": "my-elser-endpoint",
            "query": "How to avoid muscle soreness after running?"
        }
    },
)
print(resp)

const response = await client.search({
  index: "my-index",
  query: {
    sparse_vector: {
      field: "content_embedding",
      inference_id: "my-elser-endpoint",
      query: "How to avoid muscle soreness after running?",
    },
  },
});
console.log(response);

GET my-index/_search
{
   "query":{
      "sparse_vector":{
         "field": "content_embedding",
         "inference_id": "my-elser-endpoint",
         "query": "How to avoid muscle soreness after running?"
      }
   }
}

В результате вы получите 10 документов, наиболее близких по смыслу к вашему запросу из индекса my-index, отсортированные по их релевантности. Результат также содержит извлеченные токены для каждого из релевантных результатов поиска с их весами. Токены — это обученные ассоциации, отражающие релевантность, это не синонимы. Чтобы узнать больше о том, что такое токены, обратитесь к этой странице. Можно исключить токены из источника, для получения дополнительной информации см. этот раздел.

"hits": {
  "total": {
    "value": 10000,
    "relation": "gte"
  },
  "max_score": 26.199875,
  "hits": [
    {
      "_index": "my-index",
      "_id": "FPr9HYsBag9jXmT8lEpI",
      "_score": 26.199875,
      "_source": {
        "content_embedding": {
          "muscular": 0.2821541,
          "bleeding": 0.37929374,
          "foods": 1.1718726,
          "delayed": 1.2112266,
          "cure": 0.6848574,
          "during": 0.5886185,
          "fighting": 0.35022718,
          "rid": 0.2752442,
          "soon": 0.2967024,
          "leg": 0.37649947,
          "preparation": 0.32974035,
          "advance": 0.09652356,
          (...)
        },
        "id": 1713868,
        "model_id": ".elser_model_2",
        "content": "For example, if you go for a run, you will mostly use the muscles in your lower body. Give yourself 2 days to rest those muscles so they have a chance to heal before you exercise them again. Not giving your muscles enough time to rest can cause muscle damage, rather than muscle development."
      }
    },
    (...)
  ]
}

Вы можете комбинировать sparse_vector с другими запросами в составном запросе. Например, используйте условие фильтра в булевом или полнотекстовом запросе с тем же (или другим) текстом запроса, что и sparse_vector запрос. Это позволит вам объединить результаты поиска по обоим запросам.

Результаты поиска по запросу sparse_vector, как правило, имеют более высокий рейтинг, чем результаты других запросов Elasticsearch. Эти оценки можно отрегулировать, увеличив или уменьшив релевантность результатов каждого запроса, используя параметр boost. Точность по запросу sparse_vector может быть высокой, когда есть длинный хвост менее релевантных результатов. Используйте параметр min_score для отсечения этих менее релевантных документов.

resp = client.search(
    index="my-index",
    query={
        "bool": {
            "should": [
                {
                    "sparse_vector": {
                        "field": "content_embedding",
                        "inference_id": "my-elser-endpoint",
                        "query": "How to avoid muscle soreness after running?",
                        "boost": 1
                    }
                },
                {
                    "query_string": {
                        "query": "toxins",
                        "boost": 4
                    }
                }
            ]
        }
    },
    min_score=10,
)
print(resp)

const response = await client.search({
  index: "my-index",
  query: {
    bool: {
      should: [
        {
          sparse_vector: {
            field: "content_embedding",
            inference_id: "my-elser-endpoint",
            query: "How to avoid muscle soreness after running?",
            boost: 1,
          },
        },
        {
          query_string: {
            query: "toxins",
            boost: 4,
          },
        },
      ],
    },
  },
  min_score: 10,
});
console.log(response);

GET my-index/_search
{
  "query": {
    "bool": { 
      "should": [
        {
          "sparse_vector": {
            "field": "content_embedding",
            "inference_id": "my-elser-endpoint",
            "query": "How to avoid muscle soreness after running?",
            "boost": 1 
          }
        },
        {
          "query_string": {
            "query": "toxins",
            "boost": 4 
          }
        }
      ]
    }
  },
  "min_score": 10 
}

Токены, сгенерированные ELSER, должны быть индексированы для использования в запросе sparse_vector. Однако нет необходимости сохранять эти термины в исходном тексте документа. Вы можете сэкономить место на диске, используя отображение исключения источника, чтобы удалить термины ELSER из исходного текста документа.

Отображение, исключающее content_embedding из поля _source, можно создать с помощью следующего API-запроса:

resp = client.indices.create(
    index="my-index",
    mappings={
        "_source": {
            "excludes": [
                "content_embedding"
            ]
        },
        "properties": {
            "content_embedding": {
                "type": "sparse_vector"
            },
            "content": {
                "type": "text"
            }
        }
    },
)
print(resp)

response = client.indices.create(
  index: 'my-index',
  body: {
    mappings: {
      _source: {
        excludes: [
          'content_embedding'
        ]
      },
      properties: {
        content_embedding: {
          type: 'sparse_vector'
        },
        content: {
          type: 'text'
        }
      }
    }
  }
)
puts response

const response = await client.indices.create({
  index: "my-index",
  mappings: {
    _source: {
      excludes: ["content_embedding"],
    },
    properties: {
      content_embedding: {
        type: "sparse_vector",
      },
      content: {
        type: "text",
      },
    },
  },
});
console.log(response);

PUT my-index
{
  "mappings": {
    "_source": {
      "excludes": [
        "content_embedding"
      ]
    },
    "properties": {
      "content_embedding": {
        "type": "sparse_vector"
      },
      "content": {
        "type": "text"
      }
    }
  }
}