Изменение отображений и настроек для потока данных

Обновите шаблон индекса, используемый потоком данных. Это гарантирует, что новое сопоставление поля добавлено в будущие фоновые индексы, созданные для потока.

Например, my-data-stream-template - это существующий шаблон индекса, используемый my-data-stream.

Следующий запрос создания или обновления шаблона индекса добавляет сопоставление для нового поля, message, в шаблон.

PUT /_index_template/my-data-stream-template
{
  "index_patterns": [ "my-data-stream*" ],
  "data_stream": { },
  "priority": 500,
  "template": {
    "mappings": {
      "properties": {
        "message": {                              
          "type": "text"
        }
      }
    }
  }
}

Используйте API обновления сопоставления для добавления нового сопоставления поля в поток данных. По умолчанию это добавляет сопоставление в существующие фоновые индексы потока, включая индекс записи.

Следующий запрос API обновления сопоставления добавляет новое сопоставление поля message в my-data-stream.

PUT /my-data-stream/_mapping
{
  "properties": {
    "message": {
      "type": "text"
    }
  }
}

Чтобы добавить сопоставление только в индекс записи потока, установите параметр запроса API обновления сопоставления write_index_only в значение true.

Следующий запрос обновления сопоставления добавляет новое сопоставление поля message только в индекс записи my-data-stream. Новое сопоставление поля не добавляется в другие фоновые индексы потока.

PUT /my-data-stream/_mapping?write_index_only=true
{
  "properties": {
    "message": {
      "type": "text"
    }
  }
}

Обновите шаблон индекса, используемый потоком данных. Это гарантирует, что обновленное сопоставление поля добавлено в будущие фоновые индексы, созданные для потока.

Например, my-data-stream-template - это существующий шаблон индекса, используемый my-data-stream.

Следующий запрос создания или обновления шаблона индекса изменяет аргумент для параметра сопоставления ignore_malformed поля host.ip на true.

PUT /_index_template/my-data-stream-template
{
  "index_patterns": [ "my-data-stream*" ],
  "data_stream": { },
  "priority": 500,
  "template": {
    "mappings": {
      "properties": {
        "host": {
          "properties": {
            "ip": {
              "type": "ip",
              "ignore_malformed": true            
            }
          }
        }
      }
    }
  }
}

Используйте API обновления сопоставления для применения изменений сопоставления к потоку данных. По умолчанию это применяет изменения к существующим фоновым индексам потока, включая индекс записи.

Следующий запрос API обновления сопоставления нацелен на my-data-stream. Запрос изменяет аргумент параметра сопоставления ignore_malformed поля host.ip на true.

PUT /my-data-stream/_mapping
{
  "properties": {
    "host": {
      "properties": {
        "ip": {
          "type": "ip",
          "ignore_malformed": true
        }
      }
    }
  }
}

Чтобы применить изменения сопоставления только к индексу записи потока, установите параметр запроса API добавления сопоставления write_index_only в значение true.

Следующий запрос обновления сопоставления изменяет сопоставление поля host.ip только для индекса записи my-data-stream. Изменение не применяется к другим фоновым индексам потока.

PUT /my-data-stream/_mapping?write_index_only=true
{
  "properties": {
    "host": {
      "properties": {
        "ip": {
          "type": "ip",
          "ignore_malformed": true
        }
      }
    }
  }
}

Обновите шаблон индекса, используемый потоком данных. Это гарантирует, что настройка применяется к будущим фоновым индексам, созданным для потока.

Например, my-data-stream-template - это существующий шаблон индекса, используемый my-data-stream.

Следующий запрос создания или обновления шаблона индекса изменяет настройку индекса index.refresh_interval шаблона на 30s (30 секунд).

PUT /_index_template/my-data-stream-template
{
  "index_patterns": [ "my-data-stream*" ],
  "data_stream": { },
  "priority": 500,
  "template": {
    "settings": {
      "index.refresh_interval": "30s"             
    }
  }
}

Используйте API обновления настроек индекса для обновления настройки индекса для потока данных. По умолчанию это применяет настройку к существующим фоновым индексам потока, включая индекс записи.

Следующий запрос API обновления настроек индекса обновляет настройку index.refresh_interval для my-data-stream.

PUT /my-data-stream/_settings
{
  "index": {
    "refresh_interval": "30s"
  }
}

Выберите имя или шаблон индекса для нового потока данных. Этот новый поток данных будет содержать данные из вашего существующего потока.

Вы можете использовать API разрешения индекса, чтобы проверить, соответствует ли имя или шаблон каким-либо существующим индексам, псевдонимам или потокам данных. Если да, следует рассмотреть использование другого имени или шаблона.

Следующий запрос API разрешения индекса проверяет наличие каких-либо существующих индексов, псевдонимов или потоков данных, начинающихся с new-data-stream. В противном случае можно использовать шаблон индекса new-data-stream* для создания нового потока данных.

GET /_resolve/index/new-data-stream*

API возвращает следующий ответ, указывающий, что ни один из существующих целевых объектов не соответствует этому шаблону.

{
  "indices": [ ],
  "aliases": [ ],
  "data_streams": [ ]
}

Создайте или обновите шаблон индекса. Этот шаблон должен содержать отображения и настройки, которые вы хотите применить к базовым индексам нового потока данных.

Этот шаблон индекса должен соответствовать требованиям шаблона потока данных. Он также должен содержать выбранное ранее имя или шаблон индекса в свойстве index_patterns.

Например, my-data-stream-template — это существующий шаблон индекса, используемый my-data-stream.

Следующий запрос API создания или обновления шаблона индекса создаёт новый шаблон индекса new-data-stream-template. new-data-stream-template использует my-data-stream-template в качестве основы со следующими изменениями:

PUT /_index_template/new-data-stream-template
{
  "index_patterns": [ "new-data-stream*" ],
  "data_stream": { },
  "priority": 500,
  "template": {
    "mappings": {
      "properties": {
        "@timestamp": {
          "type": "date_nanos"                 
        }
      }
    },
    "settings": {
      "sort.field": [ "@timestamp"],          
      "sort.order": [ "desc"]                 
    }
  }
}

Используйте API создания потока данных, чтобы вручную создать новый поток данных. Имя потока данных должно совпадать с шаблоном индекса, определённым в свойстве index_patterns нового шаблона.

Не рекомендуется индексировать новые данные для создания этого потока данных. Позже вы переиндексируете старые данные из существующего потока данных в этот новый поток. В результате может получиться один или несколько базовых индексов, содержащих смесь новых и старых данных.

Следующий запрос API создания потока данных нацелен на new-data-stream, который соответствует шаблону индекса для new-data-stream-template. Поскольку ни один существующий индекс или поток данных не использует это имя, этот запрос создаёт поток данных new-data-stream.

PUT /_data_stream/new-data-stream

Если вы используете ILM для автоматизации смены поколений, уменьшите интервал опроса ILM. Это обеспечит, что текущий индекс записи не станет слишком большим, ожидая проверки смены поколений. По умолчанию ILM проверяет условия смены поколений каждые 10 минут.

Следующий запрос API настроек кластера уменьшает настройку indices.lifecycle.poll_interval до значения 1m (одна минута).

PUT /_cluster/settings
{
  "persistent": {
    "indices.lifecycle.poll_interval": "1m"
  }
}

Переиндексируйте данные в новый поток данных с помощью op_type create.

Если вы хотите разбить данные в порядке, в котором они были первоначально индексированы, вы можете выполнить отдельные запросы переиндексации. Эти запросы переиндексации могут использовать отдельные базовые индексы в качестве источника. Вы можете использовать API получения потока данных для получения списка базовых индексов.

Например, вы планируете переиндексировать данные из my-data-stream в new-data-stream. Однако вы хотите отправить отдельный запрос переиндексации для каждого базового индекса в my-data-stream, начиная со старейшего базового индекса. Это сохранит порядок, в котором данные были изначально индексированы.

Следующий запрос API получения потока данных получает информацию о my-data-stream, включая список его базовых индексов.

GET /_data_stream/my-data-stream

Свойство indices ответа содержит массив текущих базовых индексов потока. Первый элемент массива содержит информацию о старейшем базовом индексе потока.

{
  "data_streams": [
    {
      "name": "my-data-stream",
      "timestamp_field": {
        "name": "@timestamp"
      },
      "indices": [
        {
          "index_name": ".ds-my-data-stream-2099.03.07-000001", 
          "index_uuid": "Gpdiyq8sRuK9WuthvAdFbw"
        },
        {
          "index_name": ".ds-my-data-stream-2099.03.08-000002",
          "index_uuid": "_eEfRrFHS9OyhqWntkgHAQ"
        }
      ],
      "generation": 2,
      "status": "GREEN",
      "template": "my-data-stream-template",
      "hidden": false,
      "system": false,
      "replicated": false
    }
  ]
}

Следующий запрос API переиндексации копирует документы из .ds-my-data-stream-2099.03.07-000001 в new-data-stream. В запросе op_type равно create.

POST /_reindex
{
  "source": {
    "index": ".ds-my-data-stream-2099.03.07-000001"
  },
  "dest": {
    "index": "new-data-stream",
    "op_type": "create"
  }
}

Вы также можете использовать запрос для переиндексации только подмножества документов с каждым запросом.

Следующий запрос API переиндексации копирует документы из my-data-stream в new-data-stream. Запрос использует range запрос для переиндексации только документов с отметкой времени за последнюю неделю. Обратите внимание на значение op_type в запросе: create.

POST /_reindex
{
  "source": {
    "index": "my-data-stream",
    "query": {
      "range": {
        "@timestamp": {
          "gte": "now-7d/d",
          "lte": "now/d"
        }
      }
    }
  },
  "dest": {
    "index": "new-data-stream",
    "op_type": "create"
  }
}

Если вы ранее изменили интервал опроса ILM, измените его обратно к исходному значению после завершения переиндексации. Это предотвращает ненужную нагрузку на мастер-узел.

Следующий запрос API настроек кластера сбрасывает настройку indices.lifecycle.poll_interval до её значения по умолчанию.

PUT /_cluster/settings
{
  "persistent": {
    "indices.lifecycle.poll_interval": null
  }
}

После проверки того, что все переиндексированные данные доступны в новом потоке данных, можно безопасно удалить старый поток.

Следующий запрос API удаления потока данных удаляет my-data-stream. Этот запрос также удаляет базовые индексы потока и любые данные, которые они содержат.

DELETE /_data_stream/my-data-stream