API синхронизированной очистки

Используйте API синхронизированной очистки, чтобы вручную инициировать синхронизированную очистку. Это может быть полезно для запланированной перезагрузки кластера, где вы можете остановить индексирование, но не хотите ждать 5 минут, пока все индексы не будут помечены как неактивные и автоматически синхронизированы.

Вы можете запросить синхронизированную очистку даже при активной индексации, и Elasticsearch выполнит синхронизированную очистку на основе «лучшего усилия»: фрагменты, которые не имеют активной индексации, будут успешно очищены, а другие фрагменты не смогут выполнить синхронизированную очистку. Успешно очищенные фрагменты будут иметь более быстрые времена восстановления, пока маркер sync_id не будет удален последующей очисткой.

Elasticsearch отслеживает фрагменты, которые недавно получили индексацию, и считает фрагменты, не получавшие индексирования в течение 5 минут, неактивными.

Когда фрагмент становится неактивным, Elasticsearch выполняет специальную очистку, известную как синхронизированная очистка. Синхронизированная очистка выполняет обычную очистку для каждой реплики фрагмента, а затем добавляет маркер, известный как sync_id, к каждой реплике, чтобы указать, что эти копии имеют идентичные индексы Lucene. Сравнение маркеров sync_id двух копий является очень эффективным способом проверки их идентичности.

При распределении реплик фрагмента Elasticsearch должен убедиться, что каждая реплика содержит те же данные, что и основной фрагмент. Если фрагменты синхронизированы, и реплика имеет sync_id с основным фрагментом, то Elasticsearch знает, что две копии идентичны. Это означает, что нет необходимости копировать какие-либо файлы сегментов с основного фрагмента на реплику, что экономит много времени во время восстановления и перезагрузки.

Это особенно полезно для кластеров с большим количеством индексов, которые очень редко обновляются, например, с индексами, основанными на времени. Без маркера синхронизированной очистки восстановление такого кластера было бы намного медленнее.

Чтобы проверить, есть ли у фрагмента маркер sync_id, посмотрите на раздел commit статистики фрагмента, возвращаемой API статистики индексов:

GET /my-index-000001/_stats?filter_path=**.commit&level=shards 

API возвращает следующий ответ:

{
   "indices": {
      "my-index-000001": {
         "shards": {
            "0": [
               {
                 "commit" : {
                   "id" : "3M3zkw2GHMo2Y4h4/KFKCg==",
                   "generation" : 3,
                   "user_data" : {
                     "translog_uuid" : "hnOG3xFcTDeoI_kvvvOdNA",
                     "history_uuid" : "XP7KDJGiS1a2fHYiFL5TXQ",
                     "local_checkpoint" : "-1",
                     "translog_generation" : "2",
                     "max_seq_no" : "-1",
                     "sync_id" : "AVvFY-071siAOuFGEO9P", 
                     "max_unsafe_auto_id_timestamp" : "-1",
                     "min_retained_seq_no" : "0"
                   },
                   "num_docs" : 0
                 }
               }
            ]
         }
      }
   }
}

POST /_flush/synced

Ответ содержит подробности о том, сколько фрагментов успешно синхронизированы, и информацию об ошибках.

Следующий ответ показывает, что два фрагмента и одна реплика фрагмента успешно синхронизированы:

{
   "_shards": {
      "total": 2,
      "successful": 2,
      "failed": 0
   },
   "my-index-000001": {
      "total": 2,
      "successful": 2,
      "failed": 0
   }
}

Следующий ответ показывает, что одна группа фрагментов не смогла выполнить очистку из-за ожидаемых операций:

{
   "_shards": {
      "total": 4,
      "successful": 2,
      "failed": 2
   },
   "my-index-000001": {
      "total": 4,
      "successful": 2,
      "failed": 2,
      "failures": [
         {
            "shard": 1,
            "reason": "[2] ongoing operations on primary"
         }
      ]
   }
}

Иногда ошибки связаны с репликой фрагмента. Реплики, которые не смогли выполнить синхронизацию, не подходят для быстрого восстановления, но те, которые прошли успешно, всё ещё подходят. Этот случай сообщается следующим образом:

{
   "_shards": {
      "total": 4,
      "successful": 1,
      "failed": 1
   },
   "my-index-000001": {
      "total": 4,
      "successful": 3,
      "failed": 1,
      "failures": [
         {
            "shard": 1,
            "reason": "unexpected error",
            "routing": {
               "state": "STARTED",
               "primary": false,
               "node": "SZNr2J_ORxKTLUCydGX4zA",
               "relocating_node": null,
               "shard": 1,
               "index": "my-index-000001"
            }
         }
      ]
   }
}