Восстановление снапшота

Это руководство показывает, как восстановить моментальную копию. Моментальные копии — удобный способ сохранить копию ваших данных вне кластера. Вы можете восстановить моментальную копию для восстановления индексов и потоков данных после удаления или сбоя оборудования. Вы также можете использовать моментальные копии для переноса данных между кластерами.

В этом руководстве вы узнаете, как:

В этом руководстве также приводятся советы по восстановлению в другой кластер и отладке распространённых ошибок восстановления.

При восстановлении данных из моментальной копии имейте в виду следующее:

Чтобы просмотреть список доступных моментальных копий в Kibana, перейдите в главное меню и нажмите Управление стеком > Моментальные копии и Восстановление.

Вы также можете использовать API получения репозитория моментальных копий и API получения моментальной копии, чтобы найти доступные для восстановления моментальные копии. Сначала используйте API получения репозитория, чтобы получить список зарегистрированных репозиториев моментальных копий.

GET _snapshot

Затем используйте API получения моментальной копии, чтобы получить список моментальных копий в определённом репозитории. Это также возвращает содержимое каждой моментальной копии.

GET _snapshot/my_repository/*?verbose=false

Вы можете восстановить моментальную копию с помощью функции Моментальные копии и Восстановление Kibana или API восстановления моментальной копии.

По умолчанию запрос на восстановление пытается восстановить все индексы и потоки данных в моментальной копии, включая системные индексы и системные потоки данных. В большинстве случаев вам нужно восстановить только определённый индекс или поток данных из моментальной копии. Однако нельзя восстановить существующий открытый индекс.

Если вы восстанавливаете данные в существующий кластер, используйте один из следующих методов, чтобы избежать конфликтов с существующими индексами и потоками данных:

Некоторые функции Elasticsearch автоматически создают системные индексы при запуске кластера. Чтобы избежать конфликтов с этими системными индексами при восстановлении данных в новый кластер, см. Исключение системных индексов.

Простейший способ избежать конфликтов — удалить существующий индекс или поток данных перед его восстановлением. Чтобы предотвратить случайное повторное создание индекса или потока данных, рекомендуется временно приостановить всю индексацию до завершения операции восстановления.

# Delete an index
DELETE my-index

# Delete a data stream
DELETE _data_stream/logs-my_app-default

В запросе на восстановление явно укажите любые индексы и потоки данных для восстановления.

POST _snapshot/my_repository/my_snapshot_2099.05.06/_restore
{
  "indices": "my-index,logs-my_app-default"
}

Если вы хотите избежать удаления существующих данных, вы можете вместо этого переименовать индексы и потоки данных, которые вы восстанавливаете. Обычно этот метод используется для сравнения существующих данных с историческими данными из моментальной копии. Например, вы можете использовать этот метод для проверки документов после случайного обновления или удаления.

Перед началом убедитесь, что кластер имеет достаточную ёмкость для существующих и восстановленных данных.

Следующий запрос API восстановления моментальной копии добавляет restored- к имени любого восстановленного индекса или потока данных.

POST _snapshot/my_repository/my_snapshot_2099.05.06/_restore
{
  "indices": "my-index,logs-my_app-default",
  "rename_pattern": "(.+)",
  "rename_replacement": "restored-$1"
}

Если опции переименования создают два или более индексов или потоков данных с одинаковым именем, операция восстановления завершится неудачно.

Если вы переименовываете поток данных, его резервные индексы также переименовываются. Например, если вы переименовали поток данных logs-my_app-default в restored-logs-my_app-default, резервный индекс .ds-logs-my_app-default-2099.03.09-000005 переименовывается в .ds-restored-logs-my_app-default-2099.03.09-000005.

По завершении операции восстановления вы можете сравнить исходные и восстановленные данные. Если вам больше не нужен исходный индекс или поток данных, вы можете удалить его и использовать переиндексацию, чтобы переименовать восстановленный.

# Delete the original index
DELETE my-index

# Reindex the restored index to rename it
POST _reindex
{
  "source": {
    "index": "restored-my-index"
  },
  "dest": {
    "index": "my-index"
  }
}

# Delete the original data stream
DELETE _data_stream/logs-my_app-default

# Reindex the restored data stream to rename it
POST _reindex
{
  "source": {
    "index": "restored-logs-my_app-default"
  },
  "dest": {
    "index": "logs-my_app-default",
    "op_type": "create"
  }
}

Некоторые функции Elasticsearch, такие как процессор GeoIP, автоматически создают системные индексы при запуске. Чтобы избежать конфликтов имён с этими индексами, используйте шаблон -.* подстановочных символов, чтобы исключить системные индексы и другие индексы с точкой (.) из запроса на восстановление.

Например, следующий запрос использует шаблон *,-.* подстановочных символов, чтобы восстановить все индексы и потоки данных, кроме индексов с точкой.

POST _snapshot/my_repository/my_snapshot_2099.05.06/_restore
{
  "indices": "*,-.*"
}

Вы можете восстановить состояние функции для восстановления системных индексов, системных потоков данных и других конфигурационных данных функции из моментальной копии. Восстановление состояния функции — предпочтительный способ восстановления системных индексов и системных потоков данных.

Если вы восстанавливаете состояние кластера моментальной копии, операция восстанавливает все состояния функций в моментальной копии по умолчанию. Аналогично, если вы не восстанавливаете состояние кластера моментальной копии, операция не восстанавливает никакие состояния функций по умолчанию. Вы также можете выбрать восстановление только определённых состояний функций из моментальной копии, независимо от состояния кластера.

Чтобы просмотреть состояния функций моментальной копии, используйте API получения моментальной копии.

GET _snapshot/my_repository/my_snapshot_2099.05.06

Свойство feature_states ответа содержит список функций в моментальной копии, а также индексы каждой функции.

Для восстановления определенного состояния функции из моментального снимка укажите feature_name из ответа в параметре feature_states API восстановления моментального снимка. При восстановлении состояния функции Elasticsearch закрывает и перезаписывает существующие индексы функции.

Чтобы избежать случайного восстановления системных индексов, системных потоков данных и других индексов с точкой, добавьте шаблон подстановки -.* к значению indices.

POST _snapshot/my_repository/my_snapshot_2099.05.06/_restore
{
  "indices": "*,-.*",
  "feature_states": [ "geoip" ]
}

В некоторых случаях требуется восстановить весь кластер из моментального снимка, включая состояние кластера и все состояния функций. Такие случаи должны быть редкими, например, при катастрофическом сбое.

Восстановление всего кластера предполагает удаление важных системных индексов, включая индексы, используемые для аутентификации. Подумайте, можно ли вместо этого восстановить отдельные индексы или потоки данных.

Если вы восстанавливаете в другой кластер, см. Восстановление в другой кластер перед началом.

Операция восстановления использует процесс восстановления фрагментов для восстановления первичных фрагментов индекса из моментального снимка. В то время как операция восстановления восстанавливает первичные фрагменты, кластер будет иметь состояние yellow состояния здоровья.

После восстановления всех первичных фрагментов процесс репликации создает и распределяет реплики по соответствующим узлам данных. После завершения репликации состояние здоровья кластера обычно становится green.

После запуска восстановления в Kibana вы перенаправлены на страницу Статус восстановления. На этой странице вы можете отслеживать текущее состояние каждого фрагмента в моментальном снимке.

Вы также можете отслеживать восстановление моментального снимка с помощью API Elasticsearch. Для мониторинга состояния здоровья кластера используйте API состояния здоровья кластера.

GET _cluster/health

Чтобы получить подробную информацию о текущих восстановлениях фрагментов, используйте API восстановления индекса.

GET my-index/_recovery

Чтобы просмотреть любые неназначенные фрагменты, используйте API cat shards.

GET _cat/shards?v=true&h=index,shard,prirep,state,node,unassigned.reason&s=state

Неназначенные фрагменты имеют состояние state UNASSIGNED. Значение prirep равно p для первичных фрагментов и r для реплик. Значение unassigned.reason описывает причину того, почему фрагмент остался неназначенным.

Для получения более подробного объяснения статуса распределения неназначенного фрагмента используйте API объяснения распределения кластера.

GET _cluster/allocation/explain
{
  "index": "my-index",
  "shard": 0,
  "primary": false,
  "current_node": "my-node"
}

Вы можете удалить индекс или поток данных, чтобы отменить его текущее восстановление. Это также удалит любые существующие данные в кластере для индекса или потока данных. Удаление индекса или потока данных не влияет на моментальный снимок или его данные.

# Delete an index
DELETE my-index

# Delete a data stream
DELETE _data_stream/logs-my_app-default

Моментальные снимки не привязаны к конкретному кластеру или имени кластера. Вы можете создать моментальный снимок в одном кластере и восстановить его в другом совместимом кластере. Любой поток данных или индекс, который вы восстанавливаете из моментального снимка, также должен быть совместим с текущей версией кластера. Топология кластеров не обязательно должна совпадать.

Для восстановления моментального снимка его репозиторий должен быть зарегистрирован и доступен новому кластеру. Если исходный кластер по-прежнему имеет доступ к записи в репозиторий, зарегистрируйте репозиторий как только для чтения. Это предотвращает одновременное написание в репозиторий несколькими кластерами и повреждение его содержимого. Это также предотвращает кеширование Elasticsearch содержимого репозитория, что означает, что изменения, внесенные другими кластерами, станут видимыми сразу.

Перед началом операции восстановления убедитесь, что новый кластер имеет достаточную емкость для всех потоков данных или индексов, которые вы хотите восстановить. Если у нового кластера меньшая емкость, вы можете:

Если индексы или базовые индексы в исходном кластере были назначены определённым узлам с использованием фильтрации распределения фрагментов, те же правила будут применяться в новом кластере. Если новый кластер не содержит узлов с соответствующими атрибутами, на которых можно разместить восстановленный индекс, индекс не будет успешно восстановлен, если эти настройки распределения индекса не будут изменены во время операции восстановления.

Операция восстановления также проверяет, совместимы ли восстановленные постоянные настройки с текущим кластером, чтобы избежать случайного восстановления несовместимых настроек. Если вам нужно восстановить снимок с несовместимыми постоянными настройками, попробуйте восстановить его без глобального состояния кластера.

Вот как исправить распространённые ошибки, возвращаемые запросами на восстановление.

Вы не можете восстановить открытый индекс, который уже существует. Чтобы исправить эту ошибку, попробуйте один из методов в Восстановление индекса или потока данных.

Вы можете восстановить существующий индекс только в том случае, если он закрыт, и индекс в снимке имеет то же количество первичных фрагментов. Эта ошибка указывает на то, что индекс в снимке имеет другое количество первичных фрагментов.

Чтобы исправить эту ошибку, попробуйте один из методов в Восстановление индекса или потока данных.