API переиндексации

Вы можете ограничить документы, добавив запрос к source. Например, следующий запрос копирует только документы с user.id значения kimchy в my-new-index-000001:

resp = client.reindex(
    source={
        "index": "my-index-000001",
        "query": {
            "term": {
                "user.id": "kimchy"
            }
        }
    },
    dest={
        "index": "my-new-index-000001"
    },
)
print(resp)

response = client.reindex(
  body: {
    source: {
      index: 'my-index-000001',
      query: {
        term: {
          'user.id' => 'kimchy'
        }
      }
    },
    dest: {
      index: 'my-new-index-000001'
    }
  }
)
puts response

const response = await client.reindex({
  source: {
    index: "my-index-000001",
    query: {
      term: {
        "user.id": "kimchy",
      },
    },
  },
  dest: {
    index: "my-new-index-000001",
  },
});
console.log(response);

POST _reindex
{
  "source": {
    "index": "my-index-000001",
    "query": {
      "term": {
        "user.id": "kimchy"
      }
    }
  },
  "dest": {
    "index": "my-new-index-000001"
  }
}

Вы можете ограничить количество обрабатываемых документов, установив max_docs. Например, этот запрос копирует один документ из my-index-000001 в my-new-index-000001:

resp = client.reindex(
    max_docs=1,
    source={
        "index": "my-index-000001"
    },
    dest={
        "index": "my-new-index-000001"
    },
)
print(resp)

response = client.reindex(
  body: {
    max_docs: 1,
    source: {
      index: 'my-index-000001'
    },
    dest: {
      index: 'my-new-index-000001'
    }
  }
)
puts response

const response = await client.reindex({
  max_docs: 1,
  source: {
    index: "my-index-000001",
  },
  dest: {
    index: "my-new-index-000001",
  },
});
console.log(response);

POST _reindex
{
  "max_docs": 1,
  "source": {
    "index": "my-index-000001"
  },
  "dest": {
    "index": "my-new-index-000001"
  }
}

Атрибут index в source может быть списком, что позволяет копировать из множества источников в одном запросе. Это скопирует документы из индексов my-index-000001 и my-index-000002:

resp = client.reindex(
    source={
        "index": [
            "my-index-000001",
            "my-index-000002"
        ]
    },
    dest={
        "index": "my-new-index-000002"
    },
)
print(resp)

response = client.reindex(
  body: {
    source: {
      index: [
        'my-index-000001',
        'my-index-000002'
      ]
    },
    dest: {
      index: 'my-new-index-000002'
    }
  }
)
puts response

const response = await client.reindex({
  source: {
    index: ["my-index-000001", "my-index-000002"],
  },
  dest: {
    index: "my-new-index-000002",
  },
});
console.log(response);

POST _reindex
{
  "source": {
    "index": ["my-index-000001", "my-index-000002"]
  },
  "dest": {
    "index": "my-new-index-000002"
  }
}

Вы можете использовать фильтрацию источника для переиндексации подмножества полей в исходных документах. Например, следующий запрос переиндексирует только поля user.id и _doc каждого документа:

resp = client.reindex(
    source={
        "index": "my-index-000001",
        "_source": [
            "user.id",
            "_doc"
        ]
    },
    dest={
        "index": "my-new-index-000001"
    },
)
print(resp)

response = client.reindex(
  body: {
    source: {
      index: 'my-index-000001',
      _source: [
        'user.id',
        '_doc'
      ]
    },
    dest: {
      index: 'my-new-index-000001'
    }
  }
)
puts response

const response = await client.reindex({
  source: {
    index: "my-index-000001",
    _source: ["user.id", "_doc"],
  },
  dest: {
    index: "my-new-index-000001",
  },
});
console.log(response);

POST _reindex
{
  "source": {
    "index": "my-index-000001",
    "_source": ["user.id", "_doc"]
  },
  "dest": {
    "index": "my-new-index-000001"
  }
}

_reindex можно использовать для создания копии индекса с переименованными полями. Предположим, вы создаете индекс, содержащий документы такого вида:

resp = client.index(
    index="my-index-000001",
    id="1",
    refresh=True,
    document={
        "text": "words words",
        "flag": "foo"
    },
)
print(resp)

response = client.index(
  index: 'my-index-000001',
  id: 1,
  refresh: true,
  body: {
    text: 'words words',
    flag: 'foo'
  }
)
puts response

const response = await client.index({
  index: "my-index-000001",
  id: 1,
  refresh: "true",
  document: {
    text: "words words",
    flag: "foo",
  },
});
console.log(response);

POST my-index-000001/_doc/1?refresh
{
  "text": "words words",
  "flag": "foo"
}

но вам не нравится имя flag и вы хотите заменить его на tag. _reindex может создать для вас другой индекс:

resp = client.reindex(
    source={
        "index": "my-index-000001"
    },
    dest={
        "index": "my-new-index-000001"
    },
    script={
        "source": "ctx._source.tag = ctx._source.remove(\"flag\")"
    },
)
print(resp)

response = client.reindex(
  body: {
    source: {
      index: 'my-index-000001'
    },
    dest: {
      index: 'my-new-index-000001'
    },
    script: {
      source: 'ctx._source.tag = ctx._source.remove("flag")'
    }
  }
)
puts response

const response = await client.reindex({
  source: {
    index: "my-index-000001",
  },
  dest: {
    index: "my-new-index-000001",
  },
  script: {
    source: 'ctx._source.tag = ctx._source.remove("flag")',
  },
});
console.log(response);

POST _reindex
{
  "source": {
    "index": "my-index-000001"
  },
  "dest": {
    "index": "my-new-index-000001"
  },
  "script": {
    "source": "ctx._source.tag = ctx._source.remove(\"flag\")"
  }
}

Теперь вы можете получить новый документ:

resp = client.get(
    index="my-new-index-000001",
    id="1",
)
print(resp)

response = client.get(
  index: 'my-new-index-000001',
  id: 1
)
puts response

const response = await client.get({
  index: "my-new-index-000001",
  id: 1,
});
console.log(response);

GET my-new-index-000001/_doc/1

что вернет:

{
  "found": true,
  "_id": "1",
  "_index": "my-new-index-000001",
  "_version": 1,
  "_seq_no": 44,
  "_primary_term": 1,
  "_source": {
    "text": "words words",
    "tag": "foo"
  }
}

Вы можете использовать _reindex в сочетании с Painless, чтобы переиндексировать ежедневные индексы, чтобы применить новую шаблон к существующим документам.

Предположим, у вас есть индексы, содержащие документы, подобные:

$params = [
    'index' => 'metricbeat-2016.05.30',
    'id' => '1',
    'body' => [
        'system.cpu.idle.pct' => 0.908,
    ],
];
$response = $client->index($params);
$params = [
    'index' => 'metricbeat-2016.05.31',
    'id' => '1',
    'body' => [
        'system.cpu.idle.pct' => 0.105,
    ],
];
$response = $client->index($params);

resp = client.index(
    index="metricbeat-2016.05.30",
    id="1",
    refresh=True,
    document={
        "system.cpu.idle.pct": 0.908
    },
)
print(resp)

resp1 = client.index(
    index="metricbeat-2016.05.31",
    id="1",
    refresh=True,
    document={
        "system.cpu.idle.pct": 0.105
    },
)
print(resp1)

response = client.index(
  index: 'metricbeat-2016.05.30',
  id: 1,
  refresh: true,
  body: {
    'system.cpu.idle.pct' => 0.908
  }
)
puts response

response = client.index(
  index: 'metricbeat-2016.05.31',
  id: 1,
  refresh: true,
  body: {
    'system.cpu.idle.pct' => 0.105
  }
)
puts response

{
	res, err := es.Index(
		"metricbeat-2016.05.30",
		strings.NewReader(`{
	  "system.cpu.idle.pct": 0.908
	}`),
		es.Index.WithDocumentID("1"),
		es.Index.WithRefresh("true"),
		es.Index.WithPretty(),
	)
	fmt.Println(res, err)
}

{
	res, err := es.Index(
		"metricbeat-2016.05.31",
		strings.NewReader(`{
	  "system.cpu.idle.pct": 0.105
	}`),
		es.Index.WithDocumentID("1"),
		es.Index.WithRefresh("true"),
		es.Index.WithPretty(),
	)
	fmt.Println(res, err)
}

const response = await client.index({
  index: "metricbeat-2016.05.30",
  id: 1,
  refresh: "true",
  document: {
    "system.cpu.idle.pct": 0.908,
  },
});
console.log(response);

const response1 = await client.index({
  index: "metricbeat-2016.05.31",
  id: 1,
  refresh: "true",
  document: {
    "system.cpu.idle.pct": 0.105,
  },
});
console.log(response1);

PUT metricbeat-2016.05.30/_doc/1?refresh
{"system.cpu.idle.pct": 0.908}
PUT metricbeat-2016.05.31/_doc/1?refresh
{"system.cpu.idle.pct": 0.105}

Новый шаблон для индексов metricbeat-* уже загружен в Elasticsearch, но он применяется только к вновь созданным индексам. Painless можно использовать для переиндексации существующих документов и применения нового шаблона.

Нижеприведенный скрипт извлекает дату из имени индекса и создает новый индекс с добавленным -1. Все данные из metricbeat-2016.05.31 будут переиндексированы в metricbeat-2016.05.31-1.

$params = [
    'body' => [
        'source' => [
            'index' => 'metricbeat-*',
        ],
        'dest' => [
            'index' => 'metricbeat',
        ],
        'script' => [
            'lang' => 'painless',
            'source' => 'ctx._index = \'metricbeat-\' + (ctx._index.substring(\'metricbeat-\'.length(), ctx._index.length())) + \'-1\'',
        ],
    ],
];
$response = $client->reindex($params);

resp = client.reindex(
    source={
        "index": "metricbeat-*"
    },
    dest={
        "index": "metricbeat"
    },
    script={
        "lang": "painless",
        "source": "ctx._index = 'metricbeat-' + (ctx._index.substring('metricbeat-'.length(), ctx._index.length())) + '-1'"
    },
)
print(resp)

response = client.reindex(
  body: {
    source: {
      index: 'metricbeat-*'
    },
    dest: {
      index: 'metricbeat'
    },
    script: {
      lang: 'painless',
      source: "ctx._index = 'metricbeat-' + (ctx._index.substring('metricbeat-'.length(), ctx._index.length())) + '-1'"
    }
  }
)
puts response

res, err := es.Reindex(
	strings.NewReader(`{
	  "source": {
	    "index": "metricbeat-*"
	  },
	  "dest": {
	    "index": "metricbeat"
	  },
	  "script": {
	    "lang": "painless",
	    "source": "ctx._index = 'metricbeat-' + (ctx._index.substring('metricbeat-'.length(), ctx._index.length())) + '-1'"
	  }
	}`))
fmt.Println(res, err)

const response = await client.reindex({
  source: {
    index: "metricbeat-*",
  },
  dest: {
    index: "metricbeat",
  },
  script: {
    lang: "painless",
    source:
      "ctx._index = 'metricbeat-' + (ctx._index.substring('metricbeat-'.length(), ctx._index.length())) + '-1'",
  },
});
console.log(response);

POST _reindex
{
  "source": {
    "index": "metricbeat-*"
  },
  "dest": {
    "index": "metricbeat"
  },
  "script": {
    "lang": "painless",
    "source": "ctx._index = 'metricbeat-' + (ctx._index.substring('metricbeat-'.length(), ctx._index.length())) + '-1'"
  }
}

Все документы из предыдущих индексов metricbeat теперь можно найти в индексах *-1.

$params = [
    'index' => 'metricbeat-2016.05.30-1',
    'id' => '1',
];
$response = $client->get($params);
$params = [
    'index' => 'metricbeat-2016.05.31-1',
    'id' => '1',
];
$response = $client->get($params);

resp = client.get(
    index="metricbeat-2016.05.30-1",
    id="1",
)
print(resp)

resp1 = client.get(
    index="metricbeat-2016.05.31-1",
    id="1",
)
print(resp1)

response = client.get(
  index: 'metricbeat-2016.05.30-1',
  id: 1
)
puts response

response = client.get(
  index: 'metricbeat-2016.05.31-1',
  id: 1
)
puts response

{
	res, err := es.Get("metricbeat-2016.05.30-1", "1", es.Get.WithPretty())
	fmt.Println(res, err)
}

{
	res, err := es.Get("metricbeat-2016.05.31-1", "1", es.Get.WithPretty())
	fmt.Println(res, err)
}

const response = await client.get({
  index: "metricbeat-2016.05.30-1",
  id: 1,
});
console.log(response);

const response1 = await client.get({
  index: "metricbeat-2016.05.31-1",
  id: 1,
});
console.log(response1);

GET metricbeat-2016.05.30-1/_doc/1
GET metricbeat-2016.05.31-1/_doc/1

Предыдущий метод также можно использовать в сочетании с изменением имени поля, чтобы загрузить только существующие данные в новый индекс и переименовать любые поля при необходимости.

_reindex можно использовать для извлечения случайной подвыборки источника для тестирования:

resp = client.reindex(
    max_docs=10,
    source={
        "index": "my-index-000001",
        "query": {
            "function_score": {
                "random_score": {},
                "min_score": 0.9
            }
        }
    },
    dest={
        "index": "my-new-index-000001"
    },
)
print(resp)

response = client.reindex(
  body: {
    max_docs: 10,
    source: {
      index: 'my-index-000001',
      query: {
        function_score: {
          random_score: {},
          min_score: 0.9
        }
      }
    },
    dest: {
      index: 'my-new-index-000001'
    }
  }
)
puts response

const response = await client.reindex({
  max_docs: 10,
  source: {
    index: "my-index-000001",
    query: {
      function_score: {
        random_score: {},
        min_score: 0.9,
      },
    },
  },
  dest: {
    index: "my-new-index-000001",
  },
});
console.log(response);

POST _reindex
{
  "max_docs": 10,
  "source": {
    "index": "my-index-000001",
    "query": {
      "function_score" : {
        "random_score" : {},
        "min_score" : 0.9    
      }
    }
  },
  "dest": {
    "index": "my-new-index-000001"
  }
}

Как и _update_by_query, _reindex поддерживает скрипт, который изменяет документ. В отличие от _update_by_query, скрипт разрешено изменять метаданные документа. В этом примере увеличивается версия исходного документа:

resp = client.reindex(
    source={
        "index": "my-index-000001"
    },
    dest={
        "index": "my-new-index-000001",
        "version_type": "external"
    },
    script={
        "source": "if (ctx._source.foo == 'bar') {ctx._version++; ctx._source.remove('foo')}",
        "lang": "painless"
    },
)
print(resp)

response = client.reindex(
  body: {
    source: {
      index: 'my-index-000001'
    },
    dest: {
      index: 'my-new-index-000001',
      version_type: 'external'
    },
    script: {
      source: "if (ctx._source.foo == 'bar') {ctx._version++; ctx._source.remove('foo')}",
      lang: 'painless'
    }
  }
)
puts response

const response = await client.reindex({
  source: {
    index: "my-index-000001",
  },
  dest: {
    index: "my-new-index-000001",
    version_type: "external",
  },
  script: {
    source:
      "if (ctx._source.foo == 'bar') {ctx._version++; ctx._source.remove('foo')}",
    lang: "painless",
  },
});
console.log(response);

POST _reindex
{
  "source": {
    "index": "my-index-000001"
  },
  "dest": {
    "index": "my-new-index-000001",
    "version_type": "external"
  },
  "script": {
    "source": "if (ctx._source.foo == 'bar') {ctx._version++; ctx._source.remove('foo')}",
    "lang": "painless"
  }
}

Как и в _update_by_query, вы можете установить ctx.op, чтобы изменить операцию, выполняемую на целевом индексе:

Установка ctx.op на любое другое значение приведет к ошибке, как и установка любого другого поля в ctx.

Подумайте о возможностях! Но будьте осторожны; вы можете изменить:

Установка _version на null или удаление его из карты ctx аналогично тому, как вы не отправляете версию в запросе индексирования; это приведет к перезаписи документа в целевом индексе независимо от версии в целевом индексе или типа версии, используемого в запросе _reindex.

Переиндексация с удалённого узла поддерживает настраиваемые параметры SSL. Эти параметры должны быть указаны в файле elasticsearch.yml, за исключением параметров безопасности, которые вы добавляете в хранилище ключей Elasticsearch. Настройка SSL в теле запроса _reindex невозможна. Обратитесь к настройкам переиндексации.