Восстановление снимка

Это руководство показывает, как восстановить моментальный снимок. Моментальные снимки — удобный способ сохранить копию данных вне кластера. Вы можете восстановить моментальный снимок, чтобы восстановить индексы и потоки данных после удаления или сбоя оборудования. Вы также можете использовать моментальные снимки для передачи данных между кластерами.

В этом руководстве вы узнаете, как:

Это руководство также содержит советы по восстановлению в другом кластере и отладке распространенных ошибок восстановления.

При восстановлении данных из моментального снимка имейте в виду следующее:

Чтобы просмотреть список доступных моментальных снимков в Kibana, перейдите в главное меню и нажмите Управление стеком > Моментальные снимки и восстановление.

Вы также можете использовать API получения репозитория моментальных снимков и API получения моментального снимка, чтобы найти доступные для восстановления моментальные снимки. Сначала используйте API получения репозитория, чтобы получить список зарегистрированных репозиториев моментальных снимков.

resp = client.snapshot.get_repository()
print(resp)

response = client.snapshot.get_repository
puts response

const response = await client.snapshot.getRepository();
console.log(response);

GET _snapshot

Затем используйте API получения моментального снимка, чтобы получить список моментальных снимков в определенном репозитории. Это также возвращает содержимое каждого моментального снимка.

resp = client.snapshot.get(
    repository="my_repository",
    snapshot="*",
    verbose=False,
)
print(resp)

response = client.snapshot.get(
  repository: 'my_repository',
  snapshot: '*',
  verbose: false
)
puts response

const response = await client.snapshot.get({
  repository: "my_repository",
  snapshot: "*",
  verbose: "false",
});
console.log(response);

GET _snapshot/my_repository/*?verbose=false

Вы можете восстановить моментальный снимок, используя функцию Моментальные снимки и восстановление Kibana или API восстановления моментального снимка.

По умолчанию запрос на восстановление пытается восстановить все обычные индексы и потоки данных в моментальном снимке. В большинстве случаев вам нужно восстановить только определенный индекс или поток данных из моментального снимка. Однако вы не можете восстановить существующий открытый индекс.

Если вы восстанавливаете данные в существующий кластер, используйте один из следующих методов, чтобы избежать конфликтов с существующими индексами и потоками данных:

Самый простой способ избежать конфликтов — удалить существующий индекс или поток данных перед его восстановлением. Чтобы предотвратить случайное повторное создание индекса или потока данных, рекомендуется временно остановить всю индексацию до завершения операции восстановления.

resp = client.indices.delete(
    index="my-index",
)
print(resp)

resp1 = client.indices.delete_data_stream(
    name="logs-my_app-default",
)
print(resp1)

response = client.indices.delete(
  index: 'my-index'
)
puts response

response = client.indices.delete_data_stream(
  name: 'logs-my_app-default'
)
puts response

const response = await client.indices.delete({
  index: "my-index",
});
console.log(response);

const response1 = await client.indices.deleteDataStream({
  name: "logs-my_app-default",
});
console.log(response1);

# Delete an index
DELETE my-index

# Delete a data stream
DELETE _data_stream/logs-my_app-default

В запросе на восстановление явно укажите индексы и потоки данных, которые нужно восстановить.

resp = client.snapshot.restore(
    repository="my_repository",
    snapshot="my_snapshot_2099.05.06",
    indices="my-index,logs-my_app-default",
)
print(resp)

response = client.snapshot.restore(
  repository: 'my_repository',
  snapshot: 'my_snapshot_2099.05.06',
  body: {
    indices: 'my-index,logs-my_app-default'
  }
)
puts response

const response = await client.snapshot.restore({
  repository: "my_repository",
  snapshot: "my_snapshot_2099.05.06",
  indices: "my-index,logs-my_app-default",
});
console.log(response);

POST _snapshot/my_repository/my_snapshot_2099.05.06/_restore
{
  "indices": "my-index,logs-my_app-default"
}

Если вы хотите избежать удаления существующих данных, вы можете вместо этого переименовать индексы и потоки данных, которые вы восстанавливаете. Обычно этот метод используется для сравнения существующих данных с историческими данными из моментального снимка. Например, вы можете использовать этот метод для проверки документов после случайного обновления или удаления.

Перед началом убедитесь, что в кластере достаточно места для существующих и восстановленных данных.

Следующий запрос API восстановления моментального снимка добавляет префикс restored- к имени любого восстановленного индекса или потока данных.

resp = client.snapshot.restore(
    repository="my_repository",
    snapshot="my_snapshot_2099.05.06",
    indices="my-index,logs-my_app-default",
    rename_pattern="(.+)",
    rename_replacement="restored-$1",
)
print(resp)

response = client.snapshot.restore(
  repository: 'my_repository',
  snapshot: 'my_snapshot_2099.05.06',
  body: {
    indices: 'my-index,logs-my_app-default',
    rename_pattern: '(.+)',
    rename_replacement: 'restored-$1'
  }
)
puts response

const response = await client.snapshot.restore({
  repository: "my_repository",
  snapshot: "my_snapshot_2099.05.06",
  indices: "my-index,logs-my_app-default",
  rename_pattern: "(.+)",
  rename_replacement: "restored-$1",
});
console.log(response);

POST _snapshot/my_repository/my_snapshot_2099.05.06/_restore
{
  "indices": "my-index,logs-my_app-default",
  "rename_pattern": "(.+)",
  "rename_replacement": "restored-$1"
}

Если переименование приводит к тому, что два или более индексов или потоков данных имеют одинаковое имя, операция восстановления завершается с ошибкой.

Если вы переименовываете поток данных, его базовые индексы также переименовываются. Например, если вы переименовали поток данных logs-my_app-default в restored-logs-my_app-default, базовый индекс .ds-logs-my_app-default-2099.03.09-000005 переименовывается в .ds-restored-logs-my_app-default-2099.03.09-000005.

После завершения операции восстановления вы можете сравнить исходные и восстановленные данные. Если вам больше не нужен исходный индекс или поток данных, вы можете удалить его и использовать переиндексацию, чтобы переименовать восстановленный.

resp = client.indices.delete(
    index="my-index",
)
print(resp)

resp1 = client.reindex(
    source={
        "index": "restored-my-index"
    },
    dest={
        "index": "my-index"
    },
)
print(resp1)

resp2 = client.indices.delete_data_stream(
    name="logs-my_app-default",
)
print(resp2)

resp3 = client.reindex(
    source={
        "index": "restored-logs-my_app-default"
    },
    dest={
        "index": "logs-my_app-default",
        "op_type": "create"
    },
)
print(resp3)

response = client.indices.delete(
  index: 'my-index'
)
puts response

response = client.reindex(
  body: {
    source: {
      index: 'restored-my-index'
    },
    dest: {
      index: 'my-index'
    }
  }
)
puts response

response = client.indices.delete_data_stream(
  name: 'logs-my_app-default'
)
puts response

response = client.reindex(
  body: {
    source: {
      index: 'restored-logs-my_app-default'
    },
    dest: {
      index: 'logs-my_app-default',
      op_type: 'create'
    }
  }
)
puts response

const response = await client.indices.delete({
  index: "my-index",
});
console.log(response);

const response1 = await client.reindex({
  source: {
    index: "restored-my-index",
  },
  dest: {
    index: "my-index",
  },
});
console.log(response1);

const response2 = await client.indices.deleteDataStream({
  name: "logs-my_app-default",
});
console.log(response2);

const response3 = await client.reindex({
  source: {
    index: "restored-logs-my_app-default",
  },
  dest: {
    index: "logs-my_app-default",
    op_type: "create",
  },
});
console.log(response3);

# Delete the original index
DELETE my-index

# Reindex the restored index to rename it
POST _reindex
{
  "source": {
    "index": "restored-my-index"
  },
  "dest": {
    "index": "my-index"
  }
}

# Delete the original data stream
DELETE _data_stream/logs-my_app-default

# Reindex the restored data stream to rename it
POST _reindex
{
  "source": {
    "index": "restored-logs-my_app-default"
  },
  "dest": {
    "index": "logs-my_app-default",
    "op_type": "create"
  }
}

Вы можете восстановить состояние функции для восстановления системных индексов, системных потоков данных и других конфигурационных данных функции из снимка.

Если вы восстанавливаете состояние кластера снимка, операция по умолчанию восстанавливает все состояния функций в снимке. Аналогично, если вы не восстанавливаете состояние кластера снимка, операция по умолчанию не восстанавливает какие-либо состояния функций. Вы также можете выбрать восстановление только определенных состояний функций из снимка, независимо от состояния кластера.

Чтобы просмотреть состояния функций снимка, используйте API получения снимка.

resp = client.snapshot.get(
    repository="my_repository",
    snapshot="my_snapshot_2099.05.06",
)
print(resp)

response = client.snapshot.get(
  repository: 'my_repository',
  snapshot: 'my_snapshot_2099.05.06'
)
puts response

const response = await client.snapshot.get({
  repository: "my_repository",
  snapshot: "my_snapshot_2099.05.06",
});
console.log(response);

GET _snapshot/my_repository/my_snapshot_2099.05.06

Свойство feature_states ответа содержит список функций в снимке, а также индексы каждой функции.

Чтобы восстановить определённое состояние функции из снимка, укажите feature_name из ответа в параметре feature_states API восстановления снимка.

resp = client.snapshot.restore(
    repository="my_repository",
    snapshot="my_snapshot_2099.05.06",
    feature_states=[
        "geoip"
    ],
    include_global_state=False,
    indices="-*",
)
print(resp)

response = client.snapshot.restore(
  repository: 'my_repository',
  snapshot: 'my_snapshot_2099.05.06',
  body: {
    feature_states: [
      'geoip'
    ],
    include_global_state: false,
    indices: '-*'
  }
)
puts response

const response = await client.snapshot.restore({
  repository: "my_repository",
  snapshot: "my_snapshot_2099.05.06",
  feature_states: ["geoip"],
  include_global_state: false,
  indices: "-*",
});
console.log(response);

POST _snapshot/my_repository/my_snapshot_2099.05.06/_restore
{
  "feature_states": [ "geoip" ],
  "include_global_state": false,    
  "indices": "-*"                   
}

В некоторых случаях вам необходимо восстановить весь кластер из снимка, включая состояние кластера и все состояния функций. Такие случаи должны быть редкими, например, в случае катастрофического сбоя.

Восстановление всего кластера предполагает удаление важных системных индексов, включая те, которые используются для аутентификации. Подумайте, можно ли восстановить отдельные индексы или потоки данных вместо этого.

Если вы восстанавливаете в другой кластер, см. Восстановление в другой кластер перед началом.

Операция восстановления использует процесс восстановления фрагментов yellow для восстановления основных фрагментов индекса из снимка. В то время как операция восстановления восстанавливает основные фрагменты, у кластера будет green статус здоровья.

После восстановления всех основных фрагментов процесс репликации создаёт и распределяет реплики по соответствующим узлам данных. По завершении репликации статус здоровья кластера обычно становится green.

После запуска восстановления в Kibana вы перейдете на страницу Статус восстановления. На этой странице вы можете отслеживать текущее состояние каждого фрагмента в снимке.

Вы также можете отслеживать восстановление снимка с помощью API Elasticsearch. Для мониторинга статуса здоровья кластера используйте API статуса здоровья кластера.

$response = $client->cluster()->health();

resp = client.cluster.health()
print(resp)

response = client.cluster.health
puts response

res, err := es.Cluster.Health()
fmt.Println(res, err)

const response = await client.cluster.health();
console.log(response);

GET _cluster/health

Для получения подробной информации о текущих восстановлениях фрагментов используйте API восстановления индексов.

resp = client.indices.recovery(
    index="my-index",
)
print(resp)

response = client.indices.recovery(
  index: 'my-index'
)
puts response

const response = await client.indices.recovery({
  index: "my-index",
});
console.log(response);

GET my-index/_recovery

Для просмотра неназначенных фрагментов используйте API cat shards.

resp = client.cat.shards(
    v=True,
    h="index,shard,prirep,state,node,unassigned.reason",
    s="state",
)
print(resp)

response = client.cat.shards(
  v: true,
  h: 'index,shard,prirep,state,node,unassigned.reason',
  s: 'state'
)
puts response

const response = await client.cat.shards({
  v: "true",
  h: "index,shard,prirep,state,node,unassigned.reason",
  s: "state",
});
console.log(response);

GET _cat/shards?v=true&h=index,shard,prirep,state,node,unassigned.reason&s=state

Неназначенные фрагменты имеют состояние state UNASSIGNED. Значение prirep равно p для первичных фрагментов и r для реплик. unassigned.reason описывает причину, по которой фрагмент остаётся неназначенным.

Для получения более подробного объяснения статуса распределения неназначенного фрагмента используйте API cluster allocation explain.

resp = client.cluster.allocation_explain(
    index="my-index",
    shard=0,
    primary=False,
    current_node="my-node",
)
print(resp)

response = client.cluster.allocation_explain(
  body: {
    index: 'my-index',
    shard: 0,
    primary: false,
    current_node: 'my-node'
  }
)
puts response

const response = await client.cluster.allocationExplain({
  index: "my-index",
  shard: 0,
  primary: false,
  current_node: "my-node",
});
console.log(response);

GET _cluster/allocation/explain
{
  "index": "my-index",
  "shard": 0,
  "primary": false,
  "current_node": "my-node"
}

Вы можете удалить индекс или поток данных, чтобы отменить текущее восстановление. Это также удалит все существующие данные в кластере для индекса или потока данных. Удаление индекса или потока данных не повлияет на снимок или его данные.

resp = client.indices.delete(
    index="my-index",
)
print(resp)

resp1 = client.indices.delete_data_stream(
    name="logs-my_app-default",
)
print(resp1)

response = client.indices.delete(
  index: 'my-index'
)
puts response

response = client.indices.delete_data_stream(
  name: 'logs-my_app-default'
)
puts response

const response = await client.indices.delete({
  index: "my-index",
});
console.log(response);

const response1 = await client.indices.deleteDataStream({
  name: "logs-my_app-default",
});
console.log(response1);

# Delete an index
DELETE my-index

# Delete a data stream
DELETE _data_stream/logs-my_app-default

Снимки не привязаны к определенному кластеру или имени кластера. Вы можете создать снимок в одном кластере и восстановить его в другом совместимом кластере. Любой поток данных или индекс, который вы восстанавливаете из снимка, также должен быть совместим с версией текущего кластера. Топология кластеров не должна совпадать.

Для восстановления снимка его репозиторий должен быть зарегистрирован и доступен в новом кластере. Если исходный кластер по-прежнему имеет доступ к записи в репозиторий, зарегистрируйте репозиторий в режиме только для чтения. Это предотвращает одновременную запись в репозиторий несколькими кластерами и повреждение его содержимого. Это также предотвращает кеширование содержимого репозитория Elasticsearch, что означает, что изменения, внесённые другими кластерами, станут видимыми сразу же.

Перед началом операции восстановления убедитесь, что новый кластер имеет достаточную ёмкость для всех потоков данных или индексов, которые вы хотите восстановить. Если новый кластер имеет меньшую ёмкость, вы можете:

Если индексы или базовые индексы в исходном кластере были назначены конкретным узлам с помощью фильтрации распределения фрагментов, те же правила будут применяться в новом кластере. Если новый кластер не содержит узлов с соответствующими атрибутами, на которых можно разместить восстановленный индекс, индекс не будет успешно восстановлен, если эти настройки распределения индекса не изменены во время операции восстановления.

Операция восстановления также проверяет совместимость восстановленных постоянных настроек с текущим кластером, чтобы избежать случайного восстановления несовместимых настроек. Если вам необходимо восстановить снимок с несовместимыми постоянными настройками, попробуйте восстановить его без глобального состояния кластера.

Вот как устранить распространённые ошибки, возвращаемые запросами восстановления.

Вы не можете восстановить открытый индекс, который уже существует. Для решения этой ошибки попробуйте один из методов в Восстановление индекса или потока данных.

Вы можете восстановить существующий индекс только в том случае, если он закрыт, и индекс в снимке имеет то же количество первичных фрагментов. Эта ошибка указывает на то, что индекс в снимке имеет другое количество первичных фрагментов.

Для решения этой ошибки попробуйте один из методов в Восстановление индекса или потока данных.