Определение схемы данных

Определение схемы данных — это процесс определения того, как документ и содержащиеся в нём поля хранятся и индексируются.

Каждый документ представляет собой набор полей, каждое из которых имеет свой тип данных. При определении схемы данных вы создаёте определение схемы, которое содержит список полей, относящихся к документу. Определение схемы также включает метаданные полей, например, поле _source, которое настраивает обработку метаданных, связанных с документом.

Для определения данных используйте динамическое определение схемы и явное определение схемы. Каждый метод предоставляет различные преимущества в зависимости от этапа работы с данными. Например, явно определите поля, для которых вы не хотите использовать значения по умолчанию или для получения большего контроля над созданием полей. Затем вы можете разрешить Elasticsearch добавлять другие поля динамически.

При использовании динамического определения схемы, Elasticsearch автоматически пытается определить тип данных полей в ваших документах. Это позволяет быстро начать работу, просто добавив данные в индекс. Если вы индексируете дополнительные документы с новыми полями, Elasticsearch автоматически добавит эти поля. Вы можете добавлять поля в верхний уровень схемы и во вложенные поля object и nested.

Используйте динамические шаблоны для определения пользовательских схем, которые применяются к динамически добавляемым полям на основе условия соответствия.

Используйте явное определение схемы, чтобы точно определить, как типы данных сопоставляются с полями, настраивая их под конкретный случай использования.

Определение собственной схемы позволяет:

Используйте поля во время выполнения, чтобы вносить изменения в схему без повторной индексации. Вы можете использовать поля во время выполнения совместно с индексированными полями, чтобы сбалансировать использование ресурсов и производительность. Индекс будет меньше, но поиск будет медленнее.

Явное определение схемы должно быть задано при создании индекса для полей, которые известны заранее. Вы по-прежнему можете добавлять новые поля к схеме в любое время по мере развития данных.

Используйте API для обновления схемы данных, чтобы обновить существующую схему.

В большинстве случаев вы не можете изменять схему данных для полей, которые уже имеют схему. Эти изменения требуют повторной индексации.

Однако вы можете обновить схему данных при определенных условиях:

Определение слишком большого количества полей в индексе может привести к взрыву схемы данных, что может вызвать ошибки недостатка памяти и трудности с восстановлением.

Рассмотрите ситуацию, когда каждый новый вставляемый документ вводит новые поля, например, при использовании динамического определения схемы. Каждое новое поле добавляется в схему индекса, что может стать проблемой по мере роста схемы.

Используйте настройки лимитов схемы данных, чтобы ограничить количество определений полей (созданных вручную или динамически) и предотвратить создание документов, вызывающих взрыв схемы данных.