Синхронизация содержимого

Подключения Elastic имеют два типа синхронизации содержимого:

Полная синхронизация синхронизирует все документы в источнике данных третьих сторон с Elasticsearch.

Она также удаляет любые документы в Elasticsearch, которые больше не существуют в источнике данных третьих сторон.

Полная синхронизация, по определению, занимает больше времени, чем инкрементальная синхронизация, но она гарантирует полную согласованность данных.

Полная синхронизация доступна для всех подключений.

Вы можете планировать или вручную запускать задание полной синхронизации.

Инкрементальная синхронизация синхронизирует только изменения данных с момента последней полной или инкрементальной синхронизации.

Инкрементальные синхронизации доступны только после успешного завершения первоначальной полной синхронизации. В противном случае инкрементальная синхронизация завершится ошибкой.

Вы можете планировать или вручную запускать задание инкрементальной синхронизации.

Во время инкрементальной синхронизации ваше подключение все равно будет выгружать все данные из источника данных третьих сторон. Если данные содержат временные метки, подключение сравнивает идентификаторы документов и временные метки. Если документ уже существует в Elasticsearch с той же временной меткой, то обновлять этот документ не требуется, и он не будет отправлен в Elasticsearch.

Определяющим фактором в производительности инкрементальной синхронизации является объем данных, которые загружаются. Для небольших объемов данных улучшение производительности при использовании инкрементальной синхронизации будет незначительным. Для больших объемов данных влияние на производительность может быть огромным. Кроме того, инкрементальная синхронизация менее подвержена ограничению Elasticsearch, что делает ее более производительной, чем полная синхронизация, когда Elasticsearch сильно загружен.

Источник данных третьих сторон, который имеет ограничения и низкую пропускную способность, но хранит очень мало данных в Elasticsearch, например, GitHub, Jira или Confluence, не увидит значительного улучшения производительности при использовании инкрементальной синхронизации.

Однако быстрый, доступный источник данных третьих сторон, который хранит огромные объемы данных в Elasticsearch, например, Azure Blob Storage, Google Drive или S3, может привести к значительному улучшению производительности при использовании инкрементальной синхронизации.

Инкрементальные синхронизации доступны для следующих подключений: