Давление индексации

Индексирование документов в Elasticsearch создает нагрузку на систему в виде потребления памяти и ЦП. Каждая операция индексирования включает этапы координации, первичного и реплицированного индексирования. Эти этапы могут выполняться на нескольких узлах кластера.

Давление индексации может увеличиваться за счёт внешних операций, таких как запросы индексирования, или внутренних механизмов, таких как восстановление и кросс-кластерная репликация. Если в систему поступает слишком много работы по индексированию, кластер может перегрузиться. Это может негативно сказаться на других операциях, таких как поиск, координация кластера и фоновые процессы.

Для предотвращения этих проблем Elasticsearch внутренне отслеживает нагрузку индексирования. При превышении определённых пределов новая работа по индексированию отклоняется.

Внешние операции индексирования проходят через три этапа: координации, первичного и реплицированного индексирования. См. Базовая модель записи.

Настройка узла indexing_pressure.memory.limit ограничивает количество байтов, доступных для незавершенных запросов индексирования. Эта настройка по умолчанию составляет 10% от объёма кучи.

В начале каждого этапа индексирования Elasticsearch учитывает байты, потребляемые запросом индексирования. Этот учёт происходит только в конце этапа индексирования. Это означает, что предыдущие этапы будут учитывать потребление запроса до завершения всех последующих этапов. Например, запрос координации будет учитываться до завершения первичного и реплицированного этапов. Запрос первичного индексирования будет учитываться до завершения ответа каждой синхронизированной реплики, чтобы можно было выполнить повторные попытки реплицирования при необходимости.

Узел начнёт отклонять новую работу по индексированию на этапе координации или первичного индексирования, когда количество незавершенных байтов запросов координации, первичного и реплицированного индексирования превысит установленный предел.

Узел начнёт отклонять новую работу по индексированию на этапе реплицирования, когда количество незавершенных байтов реплицированного индексирования превысит 1,5 раза установленный предел. Такой дизайн означает, что по мере нарастания давления индексирования на узлах, они естественным образом перестанут принимать работу по координации и первичному индексированию, отдавая приоритет незавершенной работе по реплицированию.

Значение по умолчанию настройки indexing_pressure.memory.limit, равное 10%, достаточно велико. Вы должны изменять его только после тщательного анализа. Только запросы индексирования влияют на этот предел. Это означает, что есть дополнительная нагрузка на индексирование (буферы, слушатели и т. д.), которая также требует памяти кучи. Другие компоненты Elasticsearch также требуют памяти. Установка этого предела слишком высокой может лишить другие операции и компоненты оперативной памяти.

Вы можете использовать API статистики узлов кластера для получения показателей давления индексирования.