Учебник: Настройка репликации между кластерами

Для выполнения этого урока вам необходимо:

Чтобы реплицировать индекс в удалённом кластере (Кластер A) в локальный кластер (Кластер B), вы назначаете Кластер A как удалённый в Кластере B.

Чтобы настроить удаленный кластер из Stack Management в Kibana:

PUT /_cluster/settings
{
  "persistent" : {
    "cluster" : {
      "remote" : {
        "leader" : {
          "seeds" : [
            "127.0.0.1:9300" 
          ]
        }
      }
    }
  }
}

GET /_remote/info

{
  "leader" : {
    "seeds" : [
      "127.0.0.1:9300"
    ],
    "connected" : true,
    "num_nodes_connected" : 1, 
    "max_connections_per_cluster" : 3,
    "initial_connect_timeout" : "30s",
    "skip_unavailable" : false,
    "mode" : "sniff"
  }
}

Чтобы следовать за индексом, он должен быть создан с включёнными мягкими удалениями. Если для индекса не включены мягкие удаления, вы должны переиндексировать его и использовать новый индекс в качестве индекса-лидера. Мягкие удаления по умолчанию включены для новых индексов, созданных с Elasticsearch 7.0.0 и более поздними версиями.

Пользователю кросс-кластерной репликации требуются различные привилегии кластера и индекса в удалённом кластере и локальном кластере. Используйте следующие запросы для создания отдельных ролей в локальном и удалённом кластерах, а затем создайте пользователя с необходимыми ролями.

В удалённом кластере, содержащем индекс-лидер, роль кросс-кластерной репликации требует привилегии кластера read_ccr и привилегий monitor и read на индексе-лидере.

Следующий запрос создаёт роль remote-replication в удалённом кластере:

POST /_security/role/remote-replication
{
  "cluster": [
    "read_ccr"
  ],
  "indices": [
    {
      "names": [
        "leader-index-name"
      ],
      "privileges": [
        "monitor",
        "read"
      ]
    }
  ]
}

В локальном кластере, содержащем индекс-фолловер, роль remote-replication требует привилегии кластера manage_ccr и привилегий monitor, read, write и manage_follow_index на индексе-фолловере.

Следующий запрос создаёт роль remote-replication в локальном кластере:

POST /_security/role/remote-replication
{
  "cluster": [
    "manage_ccr"
  ],
  "indices": [
    {
      "names": [
        "follower-index-name"
      ],
      "privileges": [
        "monitor",
        "read",
        "write",
        "manage_follow_index"
      ]
    }
  ]
}

После создания роли remote-replication в каждом кластере используйте API создания или обновления пользователей для создания пользователя в локальном кластере и назначения роли remote-replication. Например, следующий запрос назначает роль remote-replication пользователю с именем cross-cluster-user:

POST /_security/user/cross-cluster-user
{
  "password" : "l0ng-r4nd0m-p@ssw0rd",
  "roles" : [ "remote-replication" ]
}

При создании индекса-фолловера вы указываете удалённый кластер и индекс-лидер в удалённом кластере.

Чтобы создать индекс-фолловер из Stack Management в Kibana:

Elasticsearch инициализирует фолловер, используя процесс удалённого восстановления, который передает существующие файлы сегментов Lucene из индекса-лидера в индекс-фолловер. Состояние индекса изменяется на Приостановлен. После завершения процесса удалённого восстановления начинается следование за индексом, и состояние изменяется на Активен.

При индексировании документов в индекс-лидер Elasticsearch реплицирует документы в индекс-фолловер.

PUT /server-metrics-follower/_ccr/follow?wait_for_active_shards=1
{
  "remote_cluster" : "leader",
  "leader_index" : "server-metrics"
}

Вы используете шаблоны автоматического следования, чтобы автоматически создавать новых последователей для индексов временных рядов. Всякий раз, когда имя нового индекса на удаленном кластере соответствует шаблону автоматического следования, соответствующий индекс-последователь добавляется в локальный кластер. Обратите внимание, что только индексы, созданные на удаленном кластере после создания шаблона автоматического следования, будут автоматически следовать за ними: существующие индексы на удаленном кластере игнорируются, даже если они соответствуют шаблону.

Шаблон автоматического следования указывает удаленный кластер, с которого вы хотите выполнить репликацию, и один или несколько шаблонов индексов, которые определяют индексы временных рядов, которые вы хотите реплицировать.

Для создания шаблона автоматического следования из Stack Management в Kibana:

По мере создания новых индексов, соответствующих этим шаблонам, на удаленном кластере Elasticsearch автоматически реплицирует их в локальные индексы-последователи.

PUT /_ccr/auto_follow/beats
{
  "remote_cluster" : "leader",
  "leader_index_patterns" :
  [
    "metricbeat-*", 
    "packetbeat-*" 
  ],
  "follow_index_pattern" : "{{leader_index}}-copy" 
}