API переиндексации

Если запрос содержит wait_for_completion=false, Elasticsearch выполняет некоторые предварительные проверки, запускает запрос и возвращает task, который можно использовать для отмены или получения статуса задачи. Elasticsearch создаёт запись об этой задаче как документ в _tasks/<task_id>. После завершения работы с задачей необходимо удалить документ задачи, чтобы Elasticsearch мог освободить место.

Если у вас много источников для переиндексации, лучше переиндексировать их по одному, а не использовать шаблон glob для выбора нескольких источников. Таким образом, можно возобновить процесс в случае ошибок, удалив частично завершённый источник и начав заново. Это также упрощает распараллеливание процесса: разделите список источников для переиндексации и запустите каждый список параллельно.

Для этого хорошо подходят одноразовые скрипты bash:

for index in i1 i2 i3 i4 i5; do
  curl -HContent-Type:application/json -XPOST localhost:9200/_reindex?pretty -d'{
    "source": {
      "index": "'$index'"
    },
    "dest": {
      "index": "'$index'-reindexed"
    }
  }'
done

Установите requests_per_second на любое положительное десятичное число (1.4, 6, 1000 и т. д.) для ограничения скорости, с которой _reindex отправляет порции операций индексирования. Запросы ограничиваются добавлением временной задержки к каждой порции. Для отключения урегулирования установите requests_per_second в -1.

Урегулирование выполняется путём добавления задержки между порциями, чтобы scroll, используемое _reindex внутри, получило таймаут, учитывающий задержку. Время задержки — это разница между размером порции, делённой на requests_per_second, и временем записи. По умолчанию размер порции равен 1000, поэтому если requests_per_second установлено в 500:

target_time = 1000 / 500 per second = 2 seconds
wait_time = target_time - write_time = 2 seconds - .5 seconds = 1.5 seconds

Поскольку порция отправляется как единственный запрос _bulk, большие размеры порций приводят к созданию Elasticsearch большого количества запросов, а затем к ожиданию некоторого времени перед началом следующей порции. Это «импульсный», а не «гладкий» режим работы.

Значение requests_per_second можно изменить во время выполнения переиндексации с помощью API _rethrottle:

POST _reindex/r1A2WoRbTwKZ516z6NEs5A:36619/_rethrottle?requests_per_second=-1

Идентификатор задачи можно найти с помощью API задач.

Как и при установке значения в API переиндексации, requests_per_second может быть либо -1 для отключения урегулирования, либо любым десятичным числом, таким как 1.7 или 12, для урегулирования на этом уровне. Изменение урегулирования, ускоряющее запрос, вступает в силу немедленно, но изменение урегулирования, замедляющее запрос, вступает в силу после завершения текущей порции. Это предотвращает временные ограничения на прокрутку.

Переиндексация поддерживает разбиение результатов прокрутки для распараллеливания процесса переиндексации. Это распараллеливание может повысить эффективность и предоставить удобный способ разбиения запроса на более мелкие части.

POST _reindex
{
  "source": {
    "index": "my-index-000001",
    "slice": {
      "id": 0,
      "max": 2
    }
  },
  "dest": {
    "index": "my-new-index-000001"
  }
}
POST _reindex
{
  "source": {
    "index": "my-index-000001",
    "slice": {
      "id": 1,
      "max": 2
    }
  },
  "dest": {
    "index": "my-new-index-000001"
  }
}

GET _refresh
POST my-new-index-000001/_search?size=0&filter_path=hits.total

{
  "hits": {
    "total" : {
        "value": 120,
        "relation": "eq"
    }
  }
}

POST _reindex?slices=5&refresh
{
  "source": {
    "index": "my-index-000001"
  },
  "dest": {
    "index": "my-new-index-000001"
  }
}

POST my-new-index-000001/_search?size=0&filter_path=hits.total

{
  "hits": {
    "total" : {
        "value": 120,
        "relation": "eq"
    }
  }
}

По умолчанию, если _reindex видит документ с маршрутизацией, то маршрутизация сохраняется, если она не изменена скриптом. Вы можете задать routing в запросе dest, чтобы изменить это:

Например, вы можете использовать следующий запрос, чтобы скопировать все документы из source с именем компании cat в dest с маршрутизацией, установленной в cat.

POST _reindex
{
  "source": {
    "index": "source",
    "query": {
      "match": {
        "company": "cat"
      }
    }
  },
  "dest": {
    "index": "dest",
    "routing": "=cat"
  }
}

По умолчанию _reindex использует пакет скроллинга по 1000 документов. Вы можете изменить размер пакета с помощью поля size в элементе source:

POST _reindex
{
  "source": {
    "index": "source",
    "size": 100
  },
  "dest": {
    "index": "dest",
    "routing": "=cat"
  }
}

Переиндексация также может использовать функцию конвейеров ingest, указав pipeline, как показано ниже:

POST _reindex
{
  "source": {
    "index": "source"
  },
  "dest": {
    "index": "dest",
    "pipeline": "some_ingest_pipeline"
  }
}