Настройки распределения фрагментов и маршрутизации кластера

Вы можете использовать следующие настройки для управления распределением и восстановлением фрагментов:

Кластер считается сбалансированным, когда на каждом узле находится одинаковое количество фрагментов, все узлы нуждаются в равных ресурсах, без концентрации фрагментов какого-либо индекса на каком-либо узле. Elasticsearch выполняет автоматический процесс, называемый перебалансировкой, который перемещает фрагменты между узлами в кластере для улучшения его баланса. Перебалансировка подчиняется всем другим правилам распределения фрагментов, таким как фильтрация распределения и принудительная осведомленность, что может помешать ему полностью сбалансировать кластер. В этом случае перебалансировка стремится достичь наиболее сбалансированного кластера в рамках ваших настроек. Если вы используете уровни данных, Elasticsearch автоматически применяет правила фильтрации распределения, чтобы поместить каждый фрагмент в соответствующий уровень. Эти правила означают, что балансировщик работает независимо в каждом уровне.

Вы можете использовать следующие настройки для управления перебалансировкой фрагментов по всему кластеру:

Перебалансировка работает, вычисляя вес для каждого узла на основе его распределения фрагментов, а затем перемещая фрагменты между узлами, чтобы уменьшить вес более тяжелых узлов и увеличить вес более легких. Кластер считается сбалансированным, когда нет возможного перемещения фрагментов, которое может приблизить вес любого узла к весу любого другого узла более чем на настраиваемый порог.

Вес узла зависит от количества фрагментов, которые он содержит, и от общей оценочной загрузки ресурсов этих фрагментов, выраженной в размере фрагмента на диске и количестве потоков, необходимых для поддержки трафика записи в фрагмент. Elasticsearch оценивает использование ресурсов фрагментов, принадлежащих потокам данных, при их создании с помощью операции rollover. Оцененный размер диска нового фрагмента — средний размер других фрагментов в потоке данных. Оцененная нагрузка записи нового фрагмента — взвешенное среднее значение фактических нагрузок записи последних фрагментов в потоке данных. У фрагментов, которые не принадлежат индексу записи потока данных, оценивается нагрузка записи, равная нулю.

Следующие настройки управляют тем, как Elasticsearch комбинирует эти значения в общий показатель веса каждого узла.

Вы можете использовать атрибуты узлов в качестве атрибутов осведомленности, чтобы Elasticsearch учитывал вашу физическую конфигурацию оборудования при распределении фрагментов. Если Elasticsearch знает, какие узлы находятся на одном физическом сервере, в одной стойке или в одной зоне, он может распределить первичный фрагмент и его фрагменты-копии, чтобы свести к минимуму риск потери всех копий фрагментов в случае сбоя. Узнайте больше об осведомленности о распределении фрагментов.

Вы можете использовать фильтры распределения фрагментов на уровне кластера, чтобы контролировать, где Elasticsearch распределяет фрагменты из любого индекса. Эти фильтры, действующие на весь кластер, применяются совместно с фильтрацией распределения фрагментов на уровне индекса и осведомленностью о распределении.

Фильтры распределения фрагментов могут основываться на пользовательских атрибутах узлов или встроенных атрибутах _name, _host_ip, _publish_ip, _ip, _host, _id и _tier.

Настройки cluster.routing.allocation являются динамическими, что позволяет перемещать индексы в реальном времени с одного набора узлов на другой. Фрагменты перемещаются только тогда, когда это возможно без нарушения других ограничений маршрутизации, например, когда первичный и реплицированный фрагменты никогда не размещаются на одном узле.

Наиболее распространенный случай использования фильтрации распределения фрагментов на уровне кластера — это отключение узла. Чтобы переместить фрагменты с узла перед его выключением, можно создать фильтр, исключающий узел по его IP-адресу:

resp = client.cluster.put_settings(
    persistent={
        "cluster.routing.allocation.exclude._ip": "10.0.0.1"
    },
)
print(resp)

response = client.cluster.put_settings(
  body: {
    persistent: {
      'cluster.routing.allocation.exclude._ip' => '10.0.0.1'
    }
  }
)
puts response

const response = await client.cluster.putSettings({
  persistent: {
    "cluster.routing.allocation.exclude._ip": "10.0.0.1",
  },
});
console.log(response);

PUT _cluster/settings
{
  "persistent" : {
    "cluster.routing.allocation.exclude._ip" : "10.0.0.1"
  }
}

resp = client.cluster.put_settings(
    persistent={
        "cluster.routing.allocation.exclude._ip": "192.168.2.*"
    },
)
print(resp)

response = client.cluster.put_settings(
  body: {
    persistent: {
      'cluster.routing.allocation.exclude._ip' => '192.168.2.*'
    }
  }
)
puts response

const response = await client.cluster.putSettings({
  persistent: {
    "cluster.routing.allocation.exclude._ip": "192.168.2.*",
  },
});
console.log(response);

PUT _cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.exclude._ip": "192.168.2.*"
  }
}