Поиск по кластерам

Поиск по нескольким кластерам позволяет выполнять один запрос на поиск по одному или нескольким удаленным кластерам. Например, можно использовать поиск по нескольким кластерам для фильтрации и анализа данных журналов, хранящихся в кластерах разных центров обработки данных.

Следующие API поддерживают поиск по нескольким кластерам:

В следующем запросе API обновления настроек кластера добавляются три удаленных кластера: cluster_one, cluster_two и cluster_three.

PUT _cluster/settings
{
  "persistent": {
    "cluster": {
      "remote": {
        "cluster_one": {
          "seeds": [
            "127.0.0.1:9300"
          ]
        },
        "cluster_two": {
          "seeds": [
            "127.0.0.1:9301"
          ]
        },
        "cluster_three": {
          "seeds": [
            "127.0.0.1:9302"
          ]
        }
      }
    }
  }
}

В запросе на поиск вы указываете потоки данных и индексы на удаленном кластере как <remote_cluster_name>:<target>`.

Следующий запрос API поиска выполняет поиск в индексе my-index-000001 на одном удаленном кластере, cluster_one.

GET /cluster_one:my-index-000001/_search
{
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  },
  "_source": ["user.id", "message", "http.response.status_code"]
}

API возвращает следующий ответ:

{
  "took": 150,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "failed": 0,
    "skipped": 0
  },
  "_clusters": {
    "total": 1,
    "successful": 1,
    "skipped": 0
  },
  "hits": {
    "total" : {
        "value": 1,
        "relation": "eq"
    },
    "max_score": 1,
    "hits": [
      {
        "_index": "cluster_one:my-index-000001", 
        "_type": "_doc",
        "_id": "0",
        "_score": 1,
        "_source": {
          "user": {
            "id": "kimchy"
          },
          "message": "GET /search HTTP/1.1 200 1070000",
          "http": {
            "response":
              {
                "status_code": 200
              }
          }
        }
      }
    ]
  }
}

Следующий запрос API поиска выполняет поиск в индексе my-index-000001 по трём кластерам:

GET /my-index-000001,cluster_one:my-index-000001,cluster_two:my-index-000001/_search
{
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  },
  "_source": ["user.id", "message", "http.response.status_code"]
}

API возвращает следующий ответ:

{
  "took": 150,
  "timed_out": false,
  "num_reduce_phases": 4,
  "_shards": {
    "total": 3,
    "successful": 3,
    "failed": 0,
    "skipped": 0
  },
  "_clusters": {
    "total": 3,
    "successful": 3,
    "skipped": 0
  },
  "hits": {
    "total" : {
        "value": 3,
        "relation": "eq"
    },
    "max_score": 1,
    "hits": [
      {
        "_index": "my-index-000001", 
        "_type": "_doc",
        "_id": "0",
        "_score": 2,
        "_source": {
          "user": {
            "id": "kimchy"
          },
          "message": "GET /search HTTP/1.1 200 1070000",
          "http": {
            "response":
              {
                "status_code": 200
              }
          }
        }
      },
      {
        "_index": "cluster_one:my-index-000001", 
        "_type": "_doc",
        "_id": "0",
        "_score": 1,
        "_source": {
          "user": {
            "id": "kimchy"
          },
          "message": "GET /search HTTP/1.1 200 1070000",
          "http": {
            "response":
              {
                "status_code": 200
              }
          }
        }
      },
      {
        "_index": "cluster_two:my-index-000001", 
        "_type": "_doc",
        "_id": "0",
        "_score": 1,
        "_source": {
          "user": {
            "id": "kimchy"
          },
          "message": "GET /search HTTP/1.1 200 1070000",
          "http": {
            "response":
              {
                "status_code": 200
              }
          }
        }
      }
    ]
  }
}

По умолчанию поиск по нескольким кластерам завершается ошибкой, если удаленный кластер в запросе возвращает ошибку или недоступен. Используйте настройку кластера skip_unavailable, чтобы отметить определённый удалённый кластер как необязательный для поиска по нескольким кластерам.

Если skip_unavailable равно true, поиск по нескольким кластерам:

Следующий запрос API обновления настроек кластера изменяет значение настройки cluster_two на true.

PUT _cluster/settings
{
  "persistent": {
    "cluster.remote.cluster_two.skip_unavailable": true
  }
}

Если cluster_two отключён или недоступен во время поиска по нескольким кластерам, Elasticsearch не включит соответствующие документы из этого кластера в окончательные результаты.

Поскольку поиск по нескольким кластерам подразумевает отправку запросов на удаленные кластеры, любые задержки в сети могут повлиять на скорость поиска. Чтобы избежать медленных поисков, поиск по нескольким кластерам предлагает два варианта обработки задержек сети:

Вот как работает поиск по нескольким кластерам, когда вы минимизируете сетевые циклы.

Вот как работает поиск по кластерам, когда вы не минимизируете сетевые запросы.

Для выполнения поиска по кластерам локальный и удалённые кластеры должны быть совместимы, как указано в следующей матрице.

Поиск по кластерам также может выполнять поиск в удалённых кластерах, которые находятся в процессе обновления, при условии, что как версия "обновления с" так и версия "обновления до" совместимы с шлюзовым узлом.

Например, координационный узел, работающий на Elasticsearch 5.6, может искать в удалённом кластере, работающем на Elasticsearch 6.8, но этот кластер не может быть обновлён до 7.1. В этом случае вы сначала должны обновить координационный узел до версии 7.1, а затем обновить удалённый кластер.

Поддерживаются только те функции, которые существуют во всех ищущих кластерах. Использование недавней функции с удалённым кластером, где функция не поддерживается, приведёт к неопределённому поведению.