Проектирование устойчивости

Распределённые системы, такие как Elasticsearch, разработаны для продолжения работы даже при отказе некоторых компонентов. Пока есть достаточно хорошо связанных узлов, чтобы взять на себя их обязанности, кластер Elasticsearch может продолжать нормально функционировать, если некоторые из его узлов недоступны или отключены.

Существует предел того, насколько малым может быть устойчивый кластер. Все кластеры Elasticsearch требуют:

Устойчивый кластер требует избыточности для каждого необходимого компонента кластера. Это означает, что устойчивый кластер должен иметь:

Устойчивый кластер нуждается в трёх узлах, подходящих для роли мастера, чтобы в случае отказа одного из них, оставшиеся два всё ещё составляли большинство и могли провести успешное голосование.

Аналогично, избыточность узлов каждой роли означает, что если узел для определённой роли откажет, другой узел может принять на себя его обязанности.

Наконец, устойчивый кластер должен иметь по меньшей мере два экземпляра каждого фрагмента. Если один экземпляр откажет, должен быть другой рабочий экземпляр, который сможет его заменить. Elasticsearch автоматически перестраивает все неисправные копии фрагментов на оставшихся узлах, чтобы восстановить кластер до полного работоспособного состояния после отказа.

Отказы временно уменьшают общую ёмкость вашего кластера. Кроме того, после отказа кластер должен выполнить дополнительные фоновые операции, чтобы восстановить работоспособность. Вам следует убедиться, что ваш кластер имеет ёмкость для обработки вашей рабочей нагрузки даже в случае отказа некоторых узлов.

В зависимости от ваших потребностей и бюджета, кластер Elasticsearch может состоять из одного узла, сотен узлов или любого количества узлов между ними. При проектировании небольшого кластера, вы обычно должны сосредоточиться на обеспечении его устойчивости к отказу одного узла. Разработчики больших кластеров должны также учитывать случаи одновременного отказа нескольких узлов. На следующих страницах приведены рекомендации по созданию устойчивых кластеров различных размеров: