Извлечение, фильтрация и преобразование содержимого
Соединители Elastic предлагают ряд инструментов для извлечения, фильтрации и преобразования содержимого из ваших сторонних источников данных. Каждый соединитель имеет собственную логику по умолчанию, специфичную для источника данных, и каждое развертывание Elastic Search использует стандартную конвейерную линию для извлечения и преобразования данных. Также доступны несколько инструментов для более сложных случаев использования.
Следующая диаграмма предоставляет обзор того, как можно организовать извлечение содержимого, правила синхронизации и конвейерные линии в конвейере данных вашего соединителя.
По умолчанию, только логика, специфичная для соединителя (2), и стандартная ent-search-generic-ingestion конвейерная линия (6) извлекают и преобразуют данные, как настроено в вашем развертывании.
Следующие инструменты доступны для более сложных случаев использования:
- Расширенные правила синхронизации (1). Удаленная фильтрация на уровне источника данных, до того, как данные достигнут соединителя.
- Основные правила синхронизации (4) или служба извлечения (3). Интеграционная фильтрация, контролируемая соединителем.
- Конвейерные линии (6). Настраиваемая фильтрация конвейерной линии, где Elasticsearch фильтрует данные перед индексированием.
Дополнительные сведения см. в следующих документах.
Извлечение содержимого
Соединители имеют стандартную службу извлечения содержимого, плюс самостоятельно размещаемую службу извлечения для сложных случаев использования.
См. Извлечение содержимого для получения подробной информации.
Правила синхронизации
Используйте правила синхронизации для управления тем, какие документы синхронизируются между сторонним источником данных и Elasticsearch. Правила синхронизации позволяют фильтровать данные на ранней стадии конвейера данных, что повышает эффективность и безопасность.
- Основные правила синхронизации одинаковы для всех соединителей.
- Расширенные правила синхронизации зависят от источника данных. Они охватывают сложные сценарии запросов и фильтрации, определенные в фрагменте JSON DSL.
См. Правила синхронизации для получения подробной информации.
Конвейерные линии
Конвейерные линии — это определяемая пользователем последовательность процессоров, которые изменяют документы, прежде чем они будут индексированы в Elasticsearch. Используйте конвейерные линии для обогащения данных, нормализации и других задач.
Соединители Elastic используют стандартную конвейерную линию, которую вы можете скопировать и настроить в соответствии со своими потребностями.
Дополнительные сведения о конвейерных линиях в поиске см. в документации Elasticsearch.
© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/8.17/es-connectors-filter-extract-transform.html
