API удаления по запросу

Указание параметра refresh обновляет все фрагменты, участвующие в запросе удаления по запросу, по завершении запроса. Это отличается от параметра refresh API удаления, который заставляет обновиться только фрагмент, получивший запрос на удаление. В отличие от API удаления, он не поддерживает wait_for.

Если запрос содержит wait_for_completion=false, Elasticsearch выполняет некоторые предварительные проверки, запускает запрос и возвращает task, который можно использовать для отмены или получения состояния задачи. Elasticsearch создаёт запись об этой задаче как документ в .tasks/task/${taskId}. После завершения работы с задачей следует удалить документ задачи, чтобы Elasticsearch мог освободить место.

wait_for_active_shards управляет тем, сколько копий фрагмента должны быть активными перед продолжением запроса. Подробности см. в Активных фрагментах. timeout управляет тем, сколько времени каждый запрос записи ожидает, пока недоступные фрагменты не станут доступными. Оба работают точно так же, как и в API массовой обработки. Удаление по запросу использует прокручиваемые запросы, поэтому вы также можете указать параметр scroll, чтобы контролировать, как долго сохраняется контекст поиска, например, ?scroll=10m. По умолчанию 5 минут.

Чтобы контролировать скорость, с которой удаление по запросу отправляет партии операций удаления, вы можете установить requests_per_second на любое положительное десятичное число. Это добавляет время ожидания к каждой партии для регулирования скорости. Установите requests_per_second на -1, чтобы отключить урегулирование.

Урегулирование использует время ожидания между партиями, чтобы внутренние запросы прокрутки могли получить тайм-аут, учитывающий задержки запроса. Время задержки — это разница между размером партии, делённым на requests_per_second, и временем записи. По умолчанию размер партии 1000, поэтому если requests_per_second установлено на 500:

target_time = 1000 / 500 per second = 2 seconds
wait_time = target_time - write_time = 2 seconds - .5 seconds = 1.5 seconds

Поскольку партия выдаётся как один запрос _bulk, большие размеры партии заставляют Elasticsearch создавать много запросов и ожидать начала следующей группы. Это «рывки», а не «плавно».

Удаление по запросу поддерживает прокрутку с нарезкой для параллелизации процесса удаления. Это может повысить эффективность и предоставить удобный способ разбиения запроса на более мелкие части.

Установив slices на auto, выбирается разумное значение для большинства потоков данных и индексов. Если вы вручную нарезаете или иначе настраиваете автоматическое нарезание, помните, что:

То, какая производительность — запроса или удаления — доминирует во времени выполнения, зависит от переиндексируемых документов и ресурсов кластера.

Используйте API задач, чтобы получить статус операции удаления по запросу:

$response = $client->tasks()->list();

resp = client.tasks.list(
    detailed=True,
    actions="*/delete/byquery",
)
print(resp)

response = client.tasks.list(
  detailed: true,
  actions: '*/delete/byquery'
)
puts response

res, err := es.Tasks.List(
	es.Tasks.List.WithActions("*/delete/byquery"),
	es.Tasks.List.WithDetailed(true),
)
fmt.Println(res, err)

const response = await client.tasks.list({
  detailed: "true",
  actions: "*/delete/byquery",
});
console.log(response);

GET _tasks?detailed=true&actions=*/delete/byquery

Ответ выглядит следующим образом:

{
  "nodes" : {
    "r1A2WoRbTwKZ516z6NEs5A" : {
      "name" : "r1A2WoR",
      "transport_address" : "127.0.0.1:9300",
      "host" : "127.0.0.1",
      "ip" : "127.0.0.1:9300",
      "attributes" : {
        "testattr" : "test",
        "portsfile" : "true"
      },
      "tasks" : {
        "r1A2WoRbTwKZ516z6NEs5A:36619" : {
          "node" : "r1A2WoRbTwKZ516z6NEs5A",
          "id" : 36619,
          "type" : "transport",
          "action" : "indices:data/write/delete/byquery",
          "status" : {    
            "total" : 6154,
            "updated" : 0,
            "created" : 0,
            "deleted" : 3500,
            "batches" : 36,
            "version_conflicts" : 0,
            "noops" : 0,
            "retries": 0,
            "throttled_millis": 0
          },
          "description" : ""
        }
      }
    }
  }
}

С помощью идентификатора задачи можно получить доступ к задаче напрямую:

$params = [
    'task_id' => 'r1A2WoRbTwKZ516z6NEs5A:36619',
];
$response = $client->tasks()->get($params);

resp = client.tasks.get(
    task_id="r1A2WoRbTwKZ516z6NEs5A:36619",
)
print(resp)

response = client.tasks.get(
  task_id: 'r1A2WoRbTwKZ516z6NEs5A:36619'
)
puts response

res, err := es.Tasks.Get(
	"r1A2WoRbTwKZ516z6NEs5A:36619",
)
fmt.Println(res, err)

const response = await client.tasks.get({
  task_id: "r1A2WoRbTwKZ516z6NEs5A:36619",
});
console.log(response);

GET /_tasks/r1A2WoRbTwKZ516z6NEs5A:36619

Преимущество этого API заключается в том, что он интегрируется с wait_for_completion=false для прозрачного возврата состояния завершенных задач. Если задача завершена и wait_for_completion=false была установлена для неё, она вернётся с полем results или error. Стоимость этой функции — документ, который wait_for_completion=false создаёт в .tasks/task/${taskId}. Вам нужно удалить этот документ.

Любое удаление по запросу можно отменить, используя API отмены задач:

$params = [
    'task_id' => 'r1A2WoRbTwKZ516z6NEs5A:36619',
];
$response = $client->tasks()->cancel($params);

resp = client.tasks.cancel(
    task_id="r1A2WoRbTwKZ516z6NEs5A:36619",
)
print(resp)

response = client.tasks.cancel(
  task_id: 'r1A2WoRbTwKZ516z6NEs5A:36619'
)
puts response

res, err := es.Tasks.Cancel(
	es.Tasks.Cancel.WithTaskID("r1A2WoRbTwKZ516z6NEs5A:36619"),
)
fmt.Println(res, err)

const response = await client.tasks.cancel({
  task_id: "r1A2WoRbTwKZ516z6NEs5A:36619",
});
console.log(response);

POST _tasks/r1A2WoRbTwKZ516z6NEs5A:36619/_cancel

Идентификатор задачи можно найти с помощью API задач.

Отмена должна происходить быстро, но может занять несколько секунд. API статуса задачи выше будет продолжать отображать задачу удаления по запросу, пока эта задача не проверит, что она была отменена, и не завершит себя.