Настройки распределения и маршрутизации фрагментов на уровне кластера

Вы можете использовать следующие настройки для управления распределением и восстановлением фрагментов:

Кластер считается сбалансированным, когда на каждом узле находится одинаковое количество фрагментов без концентрации фрагментов какого-либо индекса на каком-либо узле. Elasticsearch выполняет автоматический процесс, называемый перебалансировкой, который перемещает фрагменты между узлами кластера для улучшения его баланса. Перебалансировка подчиняется всем остальным правилам распределения фрагментов, таким как фильтрация распределения и принудительная осведомленность, которые могут помешать полному балансированию кластера. В этом случае перебалансировка стремится достичь наиболее сбалансированного кластера в рамках ваших настроек. Если вы используете уровни данных, Elasticsearch автоматически применяет правила фильтрации распределения, чтобы разместить каждый фрагмент на соответствующем уровне. Эти правила означают, что балансировщик работает независимо в каждом уровне.

Вы можете использовать следующие настройки для управления перебалансировкой фрагментов по всему кластеру:

Перебалансировка работает, вычисляя вес каждого узла на основе распределения фрагментов, а затем перемещая фрагменты между узлами, чтобы уменьшить вес более загруженных узлов и увеличить вес менее загруженных. Кластер считается сбалансированным, когда нет возможного перемещения фрагмента, которое может приблизить вес любого узла к весу любого другого узла более чем на настраиваемый порог. Следующие настройки позволяют контролировать детали этих вычислений.

Распределитель фрагментов по дискам гарантирует, что у всех узлов достаточно места на диске, не выполняя лишних перемещений фрагментов. Он распределяет фрагменты на основе пары пороговых значений, известных как нижний порог и верхний порог. Основная цель — убедиться, что ни один узел не превысит верхний порог, или по крайней мере, что любое такое превышение является временным. Если узел превышает верхний порог, Elasticsearch устранит это, переместив некоторые фрагменты на другие узлы кластера.

Распределитель также пытается удерживать узлы ниже верхнего порога, запрещая размещение дополнительных фрагментов на узле, превысившем нижний порог. Важно, что если все узлы превысили нижний порог, то новые фрагменты не могут быть распределены, и Elasticsearch не сможет перемещать фрагменты между узлами, чтобы сохранить использование диска ниже верхнего порога. Вы должны убедиться, что в вашем кластере достаточно места на дисках в целом и что всегда есть некоторые узлы, которые находятся ниже нижнего порога.

Перемещения фрагментов, инициированные распределителем фрагментов по дискам, также должны удовлетворять всем остальным правилам распределения фрагментов, таким как фильтрация распределения фрагментов на уровне кластера и принудительное оповещение. Если эти правила слишком жёсткие, то они могут также препятствовать перемещениям фрагментов, необходимым для поддержания использования диска узлами под контролем. Если вы используете уровни данных, Elasticsearch автоматически настраивает правила фильтрации распределения, чтобы размещать фрагменты на соответствующем уровне, что означает, что распределитель фрагментов по дискам работает независимо в каждом уровне.

Если узел заполняет свой диск быстрее, чем Elasticsearch может переместить фрагменты в другое место, существует риск полного заполнения диска. Чтобы предотвратить это, в качестве последнего средства, когда использование диска достигает порогового значения, Elasticsearch заблокирует запись в индексах с фрагментом на поражённом узле. Он также продолжит перемещение фрагментов на другие узлы кластера. Когда использование диска на поражённом узле опустится ниже верхнего порога, Elasticsearch автоматически снимает блокировку записи.

Вы можете использовать следующие настройки для управления распределением по дискам:

Пример обновления нижнего порога до как минимум 100 гигабайт свободного места, верхнего порога до как минимум 50 гигабайт свободного места и порога переполнения до 10 гигабайт свободного места и обновления информации о кластере каждую минуту:

PUT _cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.disk.watermark.low": "100gb",
    "cluster.routing.allocation.disk.watermark.high": "50gb",
    "cluster.routing.allocation.disk.watermark.flood_stage": "10gb",
    "cluster.info.update.interval": "1m"
  }
}

Вы можете использовать пользовательские атрибуты узлов в качестве атрибутов осведомленности, чтобы позволить Elasticsearch учитывать вашу физическую конфигурацию оборудования при распределении фрагментов. Если Elasticsearch знает, какие узлы находятся на одном физическом сервере, в одной стойке или в одной зоне, он может распределить первичный фрагмент и его фрагменты-копии, чтобы свести к минимуму риск потери всех копий фрагмента в случае сбоя.

Когда осведомленность о распределении фрагментов включена с настройкой динамической cluster.routing.allocation.awareness.attributes, фрагменты распределяются только на узлах, для которых установлены значения указанных атрибутов осведомленности. Если вы используете несколько атрибутов осведомленности, Elasticsearch рассматривает каждый атрибут отдельно при распределении фрагментов.

По умолчанию Elasticsearch использует адаптивную селекцию реплик для маршрутизации запросов поиска или GET. Однако при наличии атрибутов осведомленности о распределении Elasticsearch будет предпочитать использовать фрагменты в одном и том же месте (с одинаковыми значениями атрибутов осведомленности) для обработки этих запросов. Это поведение можно отключить, указав системную переменную export ES_JAVA_OPTS="$ES_JAVA_OPTS -Des.search.ignore_awareness_attributes=true" на каждом узле, входящем в кластер.

cluster.routing.allocation.awareness.attributes: zone
cluster.routing.allocation.awareness.force.zone.values: zone1,zone2 

PUT _cluster/settings
{
  "persistent" : {
    "cluster.routing.allocation.exclude._ip" : "10.0.0.1"
  }
}

PUT _cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.exclude._ip": "192.168.2.*"
  }
}