Как работают контрольные точки преобразования

Каждый раз, когда преобразование анализирует исходные индексы и создает или обновляет целевой индекс, оно генерирует контрольную точку.

Если ваше преобразование выполняется только один раз, логически существует только одна контрольная точка. Однако, если ваше преобразование выполняется непрерывно, оно создает контрольные точки по мере обработки и преобразования новых исходных данных. Свойство sync конфигурации преобразования настраивает создание контрольных точек, определяя поле времени.

Для создания контрольной точки непрерывное преобразование:

Этот процесс создания контрольных точек включает как поиск, так и индексацию в кластере. Мы стремились обеспечить контроль над производительностью при разработке преобразований. Было решено, что лучше, если преобразование занимает больше времени для завершения, а не завершается быстро и имеет приоритет в потреблении ресурсов. Тем не менее, кластеру по-прежнему требуются достаточные ресурсы для поддержки как поиска агрегированной агрегации, так и индексации ее результатов.

Когда преобразование выполняется в непрерывном режиме, оно обновляет документы в целевом индексе по мере поступления новых данных. Преобразование использует набор эвристик, называемых обнаружением изменений, для обновления целевого индекса с меньшим количеством операций.

В этом примере данные сгруппированы по имени хоста. Обнаружение изменений определяет, какие имена хостов изменились, например, хосты A, C и G, и обновляет только документы с этими хостами, но не обновляет документы, которые хранят информацию о хостах B, D или любом другом хосте, который не изменился.

Другая эвристика может быть применена для временных корзин, когда используется date_histogram для группировки по временным корзинам. Обнаружение изменений определяет, какие временные корзины изменились, и обновляет только их.

Ошибки в преобразованиях, как правило, связаны с поиском или индексацией. Для повышения устойчивости преобразований позиции курсора агрегированного поиска и поиска измененных сущностей отслеживаются в памяти и периодически сохраняются.

Ошибки контрольных точек можно разделить на следующие категории:

Если узел, выполняющий преобразования, выходит из строя, преобразование перезапускается с последней сохраненной позиции курсора. Этот процесс восстановления может повторить часть работы, которую преобразование уже выполнило, но обеспечивает согласованность данных.