API точек во времени

Точка во времени должна быть явно открыта перед использованием в запросах поиска. Параметр `keep_alive` сообщает Elasticsearch, как долго должна быть активна точка во времени, например, ?keep_alive=5m.

resp = client.open_point_in_time(
    index="my-index-000001",
    keep_alive="1m",
)
print(resp)

response = client.open_point_in_time(
  index: 'my-index-000001',
  keep_alive: '1m'
)
puts response

const response = await client.openPointInTime({
  index: "my-index-000001",
  keep_alive: "1m",
});
console.log(response);

POST /my-index-000001/_pit?keep_alive=1m

Результат вышеуказанного запроса включает id, который следует передать в id параметра pit в запросе поиска.

resp = client.search(
    size=100,
    query={
        "match": {
            "title": "elasticsearch"
        }
    },
    pit={
        "id": "46ToAwMDaWR5BXV1aWQyKwZub2RlXzMAAAAAAAAAACoBYwADaWR4BXV1aWQxAgZub2RlXzEAAAAAAAAAAAEBYQADaWR5BXV1aWQyKgZub2RlXzIAAAAAAAAAAAwBYgACBXV1aWQyAAAFdXVpZDEAAQltYXRjaF9hbGw_gAAAAA==",
        "keep_alive": "1m"
    },
)
print(resp)

const response = await client.search({
  size: 100,
  query: {
    match: {
      title: "elasticsearch",
    },
  },
  pit: {
    id: "46ToAwMDaWR5BXV1aWQyKwZub2RlXzMAAAAAAAAAACoBYwADaWR4BXV1aWQxAgZub2RlXzEAAAAAAAAAAAEBYQADaWR5BXV1aWQyKgZub2RlXzIAAAAAAAAAAAwBYgACBXV1aWQyAAAFdXVpZDEAAQltYXRjaF9hbGw_gAAAAA==",
    keep_alive: "1m",
  },
});
console.log(response);

POST /_search  
{
    "size": 100,  
    "query": {
        "match" : {
            "title" : "elasticsearch"
        }
    },
    "pit": {
	    "id":  "46ToAwMDaWR5BXV1aWQyKwZub2RlXzMAAAAAAAAAACoBYwADaWR4BXV1aWQxAgZub2RlXzEAAAAAAAAAAAEBYQADaWR5BXV1aWQyKgZub2RlXzIAAAAAAAAAAAwBYgACBXV1aWQyAAAFdXVpZDEAAQltYXRjaF9hbGw_gAAAAA==", 
	    "keep_alive": "1m"  
    }
}

В дополнение к параметру keep_alive, можно также определить параметр allow_partial_search_results. Этот параметр определяет, должна ли точка во времени (PIT) допускать недоступные фрагменты или ошибки фрагментов при первоначальном создании PIT. Если установлено значение `true`, PIT будет создан с доступными фрагментами, а также с ссылкой на любые отсутствующие. Если установлено значение `false`, операция завершится ошибкой, если любой фрагмент недоступен. Значение по умолчанию — `false`.

Ответ PIT включает сводку общего количества фрагментов, а также количество успешных фрагментов при создании PIT.

resp = client.open_point_in_time(
    index="my-index-000001",
    keep_alive="1m",
    allow_partial_search_results=True,
)
print(resp)

const response = await client.openPointInTime({
  index: "my-index-000001",
  keep_alive: "1m",
  allow_partial_search_results: "true",
});
console.log(response);

POST /my-index-000001/_pit?keep_alive=1m&allow_partial_search_results=true

{
  "id": "46ToAwMDaWR5BXV1aWQyKwZub2RlXzMAAAAAAAAAACoBYwADaWR4BXV1aWQxAgZub2RlXzEAAAAAAAAAAAEBYQADaWR5BXV1aWQyKgZub2RlXzIAAAAAAAAAAAwBYgACBXV1aWQyAAAFdXVpZDEAAQltYXRjaF9hbGw_gAAAAA=",
  "_shards": {
    "total": 10,
    "successful": 10,
    "skipped": 0,
    "failed": 0
  }
}

Когда PIT, содержащий ошибки фрагментов, используется в запросе поиска, отсутствующие фрагменты всегда сообщаются в ответе поиска как исключение NoShardAvailableActionException. Чтобы избавиться от этих исключений, необходимо создать новый PIT, чтобы фрагменты, отсутствующие в предыдущем PIT, могли быть обработаны, если они станут доступными в промежутке времени.

Параметр keep_alive, который передаётся в запрос на открытие точки во времени и в запрос поиска, продлевает срок действия соответствующей точки во времени. Значение (например, 1m, см. Единицы времени) не должно быть слишком большим, чтобы обработать все данные — оно должно быть достаточно большим для следующего запроса.

Обычно процесс фоновых слияний оптимизирует индекс, объединяя меньшие сегменты для создания новых, больших сегментов. После того, как меньшие сегменты больше не нужны, они удаляются. Однако открытые точки во времени предотвращают удаление старых сегментов, поскольку они по-прежнему используются.

Кроме того, если сегмент содержит удалённые или обновлённые документы, точка во времени должна отслеживать, был ли каждый документ активен на момент первоначального запроса поиска. Убедитесь, что на ваших узлах достаточно оперативной памяти, если у вас много открытых точек во времени в индексе, который подвергается постоянным удалениям или обновлениям. Обратите внимание, что точка во времени не предотвращает удаление связанных с ней индексов.

Вы можете проверить, сколько точек во времени (т.е. контекстов поиска) открыто, с помощью API статистики узлов:

$params = [
    'metric' => 'indices',
    'index_metric' => 'search',
];
$response = $client->nodes()->stats($params);

resp = client.nodes.stats(
    metric="indices",
    index_metric="search",
)
print(resp)

response = client.nodes.stats(
  metric: 'indices',
  index_metric: 'search'
)
puts response

res, err := es.Nodes.Stats(
	es.Nodes.Stats.WithMetric([]string{"indices"}...),
	es.Nodes.Stats.WithIndexMetric([]string{"search"}...),
)
fmt.Println(res, err)

const response = await client.nodes.stats({
  metric: "indices",
  index_metric: "search",
});
console.log(response);

GET /_nodes/stats/indices/search

Точка во времени автоматически закрывается, когда истекло её keep_alive. Однако хранение точек во времени имеет затраты, как обсуждалось в предыдущем разделе. Точки во времени должны закрываться, как только они больше не используются в запросах поиска.

resp = client.close_point_in_time(
    id="46ToAwMDaWR5BXV1aWQyKwZub2RlXzMAAAAAAAAAACoBYwADaWR4BXV1aWQxAgZub2RlXzEAAAAAAAAAAAEBYQADaWR5BXV1aWQyKgZub2RlXzIAAAAAAAAAAAwBYgACBXV1aWQyAAAFdXVpZDEAAQltYXRjaF9hbGw_gAAAAA==",
)
print(resp)

response = client.close_point_in_time(
  body: {
    id: '46ToAwMDaWR5BXV1aWQyKwZub2RlXzMAAAAAAAAAACoBYwADaWR4BXV1aWQxAgZub2RlXzEAAAAAAAAAAAEBYQADaWR5BXV1aWQyKgZub2RlXzIAAAAAAAAAAAwBYgACBXV1aWQyAAAFdXVpZDEAAQltYXRjaF9hbGw_gAAAAA=='
  }
)
puts response

const response = await client.closePointInTime({
  id: "46ToAwMDaWR5BXV1aWQyKwZub2RlXzMAAAAAAAAAACoBYwADaWR4BXV1aWQxAgZub2RlXzEAAAAAAAAAAAEBYQADaWR5BXV1aWQyKgZub2RlXzIAAAAAAAAAAAwBYgACBXV1aWQyAAAFdXVpZDEAAQltYXRjaF9hbGw_gAAAAA==",
});
console.log(response);

DELETE /_pit
{
    "id" : "46ToAwMDaWR5BXV1aWQyKwZub2RlXzMAAAAAAAAAACoBYwADaWR4BXV1aWQxAgZub2RlXzEAAAAAAAAAAAEBYQADaWR5BXV1aWQyKgZub2RlXzIAAAAAAAAAAAwBYgACBXV1aWQyAAAFdXVpZDEAAQltYXRjaF9hbGw_gAAAAA=="
}

API возвращает следующий ответ:

{
   "succeeded": true, 
   "num_freed": 3     
}

При просмотре большого количества документов может быть полезно разделить поиск на несколько частей, чтобы потреблять их независимо:

resp = client.search(
    slice={
        "id": 0,
        "max": 2
    },
    query={
        "match": {
            "message": "foo"
        }
    },
    pit={
        "id": "46ToAwMDaWR5BXV1aWQyKwZub2RlXzMAAAAAAAAAACoBYwADaWR4BXV1aWQxAgZub2RlXzEAAAAAAAAAAAEBYQADaWR5BXV1aWQyKgZub2RlXzIAAAAAAAAAAAwBYgACBXV1aWQyAAAFdXVpZDEAAQltYXRjaF9hbGw_gAAAAA=="
    },
)
print(resp)

resp1 = client.search(
    slice={
        "id": 1,
        "max": 2
    },
    pit={
        "id": "46ToAwMDaWR5BXV1aWQyKwZub2RlXzMAAAAAAAAAACoBYwADaWR4BXV1aWQxAgZub2RlXzEAAAAAAAAAAAEBYQADaWR5BXV1aWQyKgZub2RlXzIAAAAAAAAAAAwBYgACBXV1aWQyAAAFdXVpZDEAAQltYXRjaF9hbGw_gAAAAA=="
    },
    query={
        "match": {
            "message": "foo"
        }
    },
)
print(resp1)

const response = await client.search({
  slice: {
    id: 0,
    max: 2,
  },
  query: {
    match: {
      message: "foo",
    },
  },
  pit: {
    id: "46ToAwMDaWR5BXV1aWQyKwZub2RlXzMAAAAAAAAAACoBYwADaWR4BXV1aWQxAgZub2RlXzEAAAAAAAAAAAEBYQADaWR5BXV1aWQyKgZub2RlXzIAAAAAAAAAAAwBYgACBXV1aWQyAAAFdXVpZDEAAQltYXRjaF9hbGw_gAAAAA==",
  },
});
console.log(response);

const response1 = await client.search({
  slice: {
    id: 1,
    max: 2,
  },
  pit: {
    id: "46ToAwMDaWR5BXV1aWQyKwZub2RlXzMAAAAAAAAAACoBYwADaWR4BXV1aWQxAgZub2RlXzEAAAAAAAAAAAEBYQADaWR5BXV1aWQyKgZub2RlXzIAAAAAAAAAAAwBYgACBXV1aWQyAAAFdXVpZDEAAQltYXRjaF9hbGw_gAAAAA==",
  },
  query: {
    match: {
      message: "foo",
    },
  },
});
console.log(response1);

GET /_search
{
  "slice": {
    "id": 0,                      
    "max": 2                      
  },
  "query": {
    "match": {
      "message": "foo"
    }
  },
  "pit": {
    "id": "46ToAwMDaWR5BXV1aWQyKwZub2RlXzMAAAAAAAAAACoBYwADaWR4BXV1aWQxAgZub2RlXzEAAAAAAAAAAAEBYQADaWR5BXV1aWQyKgZub2RlXzIAAAAAAAAAAAwBYgACBXV1aWQyAAAFdXVpZDEAAQltYXRjaF9hbGw_gAAAAA=="
  }
}

GET /_search
{
  "slice": {
    "id": 1,
    "max": 2
  },
  "pit": {
    "id": "46ToAwMDaWR5BXV1aWQyKwZub2RlXzMAAAAAAAAAACoBYwADaWR4BXV1aWQxAgZub2RlXzEAAAAAAAAAAAEBYQADaWR5BXV1aWQyKgZub2RlXzIAAAAAAAAAAAwBYgACBXV1aWQyAAAFdXVpZDEAAQltYXRjaF9hbGw_gAAAAA=="
  },
  "query": {
    "match": {
      "message": "foo"
    }
  }
}

Результат первого запроса возвращает документы, принадлежащие первой части (id: 0), а результат второго запроса возвращает документы второй части. Поскольку максимальное количество частей установлено в 2, объединение результатов двух запросов эквивалентно результатам поиска по точке во времени без нарезки. По умолчанию разделение выполняется сначала по фрагментам, затем локально на каждом фрагменте. Локальное разделение разделяет фрагмент на смежные диапазоны на основе идентификаторов документов Lucene.

Например, если количество фрагментов равно 2, а пользователь запросил 4 части, то части 0 и 2 будут назначены первому фрагменту, а части 1 и 3 — второму фрагменту.