API удаления по запросу

Указание параметра refresh обновляет все фрагменты, участвующие в запросе удаления по запросу, после завершения запроса. Это отличается от параметра refresh API удаления, который обновляет только фрагмент, получивший запрос удаления. В отличие от API удаления, он не поддерживает wait_for.

Если запрос содержит wait_for_completion=false, Elasticsearch выполняет некоторые предварительные проверки, запускает запрос и возвращает task, который можно использовать для отмены или получения статуса задачи. Elasticsearch создает запись этой задачи как документ в .tasks/task/${taskId}. После завершения задачи необходимо удалить документ задачи, чтобы Elasticsearch мог освободить занимаемое место.

wait_for_active_shards определяет, сколько копий фрагмента должно быть активными перед продолжением запроса. Подробнее см. Активные фрагменты. timeout определяет, как долго каждый запрос записи ожидает, пока недоступные фрагменты не станут доступными. Оба работают точно так же, как и в Bulk API. Удаление по запросу использует прокручиваемые поиски, поэтому вы также можете указать параметр scroll для управления временем жизни контекста поиска, например ?scroll=10m. По умолчанию это 5 минут.

Чтобы управлять скоростью, с которой запрос удаления по запросу отправляет пакеты операций удаления, можно установить requests_per_second на любое положительное десятичное число. Это добавляет время ожидания к каждому пакету для регулирования скорости. Установите requests_per_second на -1, чтобы отключить управление скоростью.

Управление скоростью использует время ожидания между пакетами, чтобы внутренние запросы прокрутки могли получить таймаут, учитывающий добавление времени в запрос. Время добавления — это разница между размером пакета, деленным на requests_per_second, и временем записи. По умолчанию размер пакета составляет 1000, поэтому если requests_per_second установлено на 500:

target_time = 1000 / 500 per second = 2 seconds
wait_time = target_time - write_time = 2 seconds - .5 seconds = 1.5 seconds

Поскольку пакет отправляется как один _bulk запрос, большие размеры пакетов заставляют Elasticsearch создавать множество запросов и ждать перед началом следующей группы. Это "пульсирующее", а не "плавное" поведение.

Удаление по запросу поддерживает нарезку прокрутки для распараллеливания процесса удаления. Это может повысить эффективность и обеспечить удобный способ разбиения запроса на более мелкие части.

Указание slices на auto выбирает разумное число для большинства потоков данных и индексов. Если вы нарезаете вручную или настраиваете автоматическую нарезку, помните, что:

От того, производительность запроса или удаления доминирует в процессе выполнения, зависит от переиндексируемых документов и ресурсов кластера.

Используйте API задач, чтобы получить состояние операции удаления по запросу:

GET _tasks?detailed=true&actions=*/delete/byquery

Ответ выглядит следующим образом:

{
  "nodes" : {
    "r1A2WoRbTwKZ516z6NEs5A" : {
      "name" : "r1A2WoR",
      "transport_address" : "127.0.0.1:9300",
      "host" : "127.0.0.1",
      "ip" : "127.0.0.1:9300",
      "attributes" : {
        "testattr" : "test",
        "portsfile" : "true"
      },
      "tasks" : {
        "r1A2WoRbTwKZ516z6NEs5A:36619" : {
          "node" : "r1A2WoRbTwKZ516z6NEs5A",
          "id" : 36619,
          "type" : "transport",
          "action" : "indices:data/write/delete/byquery",
          "status" : {    
            "total" : 6154,
            "updated" : 0,
            "created" : 0,
            "deleted" : 3500,
            "batches" : 36,
            "version_conflicts" : 0,
            "noops" : 0,
            "retries": 0,
            "throttled_millis": 0
          },
          "description" : ""
        }
      }
    }
  }
}

С помощью идентификатора задачи вы можете получить доступ к задаче напрямую:

GET /_tasks/r1A2WoRbTwKZ516z6NEs5A:36619

Преимущество этого API заключается в интеграции с wait_for_completion=false для прозрачного возврата состояния завершённых задач. Если задача завершена, а wait_for_completion=false было установлено, она вернётся с полем results или error. Стоимость этой функции — документ, который wait_for_completion=false создаёт в .tasks/task/${taskId}. Вам нужно удалить этот документ.

Любое удаление по запросу можно отменить, используя API отмены задачи:

POST _tasks/r1A2WoRbTwKZ516z6NEs5A:36619/_cancel

Идентификатор задачи можно найти с помощью API задач.

Отмена должна произойти быстро, но может занять несколько секунд. API состояния задачи выше будет продолжать отображать задачу удаления по запросу, пока эта задача не проверит, что она отменена, и не завершит себя.