Справочная информация по подключению Elastic OneDrive

Этот коннектор доступен в качестве управляемого коннектора начиная с версии Elastic 8.11.0.

Чтобы использовать этот коннектор в Elastic Cloud напрямую, выполните все требования к управляемым коннекторам.

Чтобы создать новый коннектор OneDrive:

Для дополнительных операций см. Интерфейс коннекторов в Kibana.

Вы можете использовать Elasticsearch API создания коннектора, чтобы создать новый родной коннектор OneDrive.

Например:

resp = client.connector.put(
    connector_id="my-{service-name-stub}-connector",
    index_name="my-elasticsearch-index",
    name="Content synced from {service-name}",
    service_type="{service-name-stub}",
    is_native=True,
)
print(resp)

const response = await client.connector.put({
  connector_id: "my-{service-name-stub}-connector",
  index_name: "my-elasticsearch-index",
  name: "Content synced from {service-name}",
  service_type: "{service-name-stub}",
  is_native: true,
});
console.log(response);

PUT _connector/my-onedrive-connector
{
  "index_name": "my-elasticsearch-index",
  "name": "Content synced from OneDrive",
  "service_type": "onedrive",
  "is_native": true
}

См. документацию API Elasticsearch для получения подробной информации обо всех доступных API коннекторов.

Чтобы использовать этот коннектор напрямую в Elastic Cloud, см. Управляемые коннекторы Elastic.

Для дополнительных операций см. Интерфейс коннекторов в Kibana.

Для подключения к OneDrive вам нужно создать приложение и службу-принципал Azure Active Directory, которые могут получить доступ к ресурсам.

Выполните следующие шаги:

Следующие поля конфигурации обязательны:

См. Извлечение содержимого для получения дополнительной информации.

Коннектор синхронизирует следующие объекты и сущности:

Полные синхронизации поддерживаются по умолчанию для всех коннекторов.

Этот коннектор также поддерживает инкрементные синхронизации.

Безопасность на уровне документов (DLS) позволяет ограничивать доступ к документам на основе разрешений пользователя. Эта функция доступна по умолчанию для коннектора OneDrive. См. Конфигурация, чтобы узнать, как включить DLS для этого коннектора.

Дополнительную информацию о данной функции см. в разделе безопасности на уровне документов.

Базовые правила синхронизации одинаковы для всех коннекторов и доступны по умолчанию. Дополнительную информацию можно найти в Типах правил синхронизации.

Этот коннектор поддерживает расширенные правила синхронизации для удалённой фильтрации. Эти правила охватывают сложные сценарии запросов и фильтрации, которые невозможно выразить с помощью базовых правил синхронизации. Расширенные правила синхронизации определяются с помощью специфичного для источника фрагмента DSL JSON.

Ниже приведены несколько примеров расширенных правил синхронизации для этого коннектора.

Пример 1

Это правило пропускает индексирование файлов с расширениями .xlsx и .docx. Все остальные файлы и папки будут проиндексированы.

[
  {
    "skipFilesWithExtensions": [".xlsx" , ".docx"]
  }
]

Пример 2

Это правило фокусируется на индексировании файлов и папок, принадлежащих user1-domain@onmicrosoft.com и user2-domain@onmicrosoft.com, но исключает файлы с расширением .py.

[
  {
    "owners": ["user1-domain@onmicrosoft.com", "user2-domain@onmicrosoft.com"],
    "skipFilesWithExtensions": [".py"]
  }
]

Пример 3

Это правило индексирует только файлы и папки, находящиеся непосредственно внутри корневой папки, исключая любые файлы .md.

[
  {
    "skipFilesWithExtensions": [".md"],
    "parentPathPattern": "/drive/root:"
  }
]

Пример 4

Это правило индексирует файлы и папки, принадлежащие user1-domain@onmicrosoft.com и user3-domain@onmicrosoft.com, которые находятся непосредственно внутри папки abc, являющейся подпапкой любой папки в каталоге hello в корне. Исключаются файлы с расширениями .pdf и .py.

[
  {
    "owners": ["user1-domain@onmicrosoft.com", "user3-domain@onmicrosoft.com"],
    "skipFilesWithExtensions": [".pdf", ".py"],
    "parentPathPattern": "/drive/root:/hello/**/abc"
  }
]

Пример 5

Этот пример содержит два правила. Первое правило индексирует все файлы и папки, принадлежащие пользователям user1-domain@onmicrosoft.com и user2-domain@onmicrosoft.com. Второе правило индексирует файлы всех остальных пользователей, но пропускает файлы с расширением .py.

[
  {
    "owners": ["user1-domain@onmicrosoft.com", "user2-domain@onmicrosoft.com"]
  },
  {
    "skipFilesWithExtensions": [".py"]
  }
]

Пример 6

Этот пример содержит два правила. Первое правило индексирует все файлы, принадлежащие user1-domain@onmicrosoft.com и user2-domain@onmicrosoft.com, исключая файлы .md. Второе правило рекурсивно индексирует файлы и папки внутри папки abc.

[
  {
    "owners": ["user1-domain@onmicrosoft.com", "user2-domain@onmicrosoft.com"],
    "skipFilesWithExtensions": [".md"]
  },
  {
    "parentPathPattern": "/drive/root:/abc/**"
  }
]

См. Извлечение содержимого.

Обратитесь к Известным проблемам для получения списка известных проблем для всех коннекторов.

См. Устранение неполадок.

См. Безопасность.

Этот коннектор доступен как самостоятельный самостоятельный коннектор.

Этот самостоятельный коннектор совместим с версиями Elastic 8.10.0+.

Для использования этого коннектора выполните все требования к самостоятельным коннекторам.

Чтобы создать новый коннектор OneDrive:

Вы можете использовать Elasticsearch API создания коннекторов, чтобы создать новый самостоятельный коннектор OneDrive.

Например:

resp = client.connector.put(
    connector_id="my-{service-name-stub}-connector",
    index_name="my-elasticsearch-index",
    name="Content synced from {service-name}",
    service_type="{service-name-stub}",
)
print(resp)

const response = await client.connector.put({
  connector_id: "my-{service-name-stub}-connector",
  index_name: "my-elasticsearch-index",
  name: "Content synced from {service-name}",
  service_type: "{service-name-stub}",
});
console.log(response);

PUT _connector/my-onedrive-connector
{
  "index_name": "my-elasticsearch-index",
  "name": "Content synced from OneDrive",
  "service_type": "onedrive"
}

Подробные сведения обо всех доступных API коннекторов см. в документации API Elasticsearch.

Для дополнительных операций см. Интерфейс коннекторов в Kibana.

Для подключения к OneDrive необходимо создать приложение и управляющего принципала Azure Active Directory, которые могут получать доступ к ресурсам.

Выполните следующие действия:

Самостоятельные коннекторы выполняются на вашей собственной инфраструктуре.

Вы можете развернуть коннектор OneDrive как самостоятельный коннектор с помощью Docker. Следуйте этим инструкциям.

curl https://raw.githubusercontent.com/elastic/connectors/main/config.yml.example --output ~/connectors-config/config.yml

# When connecting to your cloud deployment you should edit the host value
elasticsearch.host: http://host.docker.internal:9200
elasticsearch.api_key: <ELASTICSEARCH_API_KEY>

connectors:
  -
    connector_id: <CONNECTOR_ID_FROM_KIBANA>
    service_type: onedrive
    api_key: <CONNECTOR_API_KEY_FROM_KIBANA> # Optional. If not provided, the connector will use the elasticsearch.api_key instead

docker run \
-v ~/connectors-config:/config \
--network "elastic" \
--tty \
--rm \
docker.elastic.co/enterprise-search/elastic-connectors:8.17.3 \
/app/bin/elastic-ingest \
-c /config/config.yml

См. DOCKER.md в репозитории elastic/connectors для получения более подробной информации.

Найдите все доступные Docker-образы в официальном реестре.

Следующие поля конфигурации являются обязательными:

Для получения более подробной информации обратитесь к Извлечению контента.

Подключаемый модуль синхронизирует следующие объекты и сущности:

Полные синхронизации по умолчанию поддерживаются для всех подключений.

Этот подключенный модуль также поддерживает инкрементные синхронизации.

Безопасность на уровне документов (DLS) позволяет ограничить доступ к документам на основе разрешений пользователя. Эта функция по умолчанию доступна для подключенного модуля OneDrive. См. Настройка, чтобы узнать, как включить DLS для этого подключенного модуля.

Для получения более подробной информации об этой функции обратитесь к безопасности на уровне документов.

Базовые правила синхронизации одинаковы для всех подключенных модулей и доступны по умолчанию. Дополнительную информацию см. в Типах правил синхронизации.

Этот подключенный модуль поддерживает расширенные правила синхронизации для удаленного фильтрации. Эти правила охватывают сложные сценарии запросов и фильтрации, которые не могут быть выражены с помощью базовых правил синхронизации. Расширенные правила синхронизации определяются с помощью специфичного для источника фрагмента JSON DSL.

Вот несколько примеров расширенных правил синхронизации для этого подключенного модуля.

Пример 1

Это правило пропускает индексирование файлов с расширениями .xlsx и .docx. Все остальные файлы и папки будут проиндексированы.

[
  {
    "skipFilesWithExtensions": [".xlsx" , ".docx"]
  }
]

Пример 2

Это правило фокусируется на индексировании файлов и папок, принадлежащих user1-domain@onmicrosoft.com и user2-domain@onmicrosoft.com, но исключает файлы с расширением .py.

[
  {
    "owners": ["user1-domain@onmicrosoft.com", "user2-domain@onmicrosoft.com"],
    "skipFilesWithExtensions": [".py"]
  }
]

Пример 3

Это правило индексирует только файлы и папки, находящиеся непосредственно внутри корневой папки, исключая любые файлы .md.

[
  {
    "skipFilesWithExtensions": [".md"],
    "parentPathPattern": "/drive/root:"
  }
]

Пример 4

Это правило индексирует файлы и папки, принадлежащие user1-domain@onmicrosoft.com и user3-domain@onmicrosoft.com, которые находятся непосредственно внутри папки abc, которая является подпапкой любой папки в каталоге hello в корне. Исключаются файлы с расширениями .pdf и .py.

[
  {
    "owners": ["user1-domain@onmicrosoft.com", "user3-domain@onmicrosoft.com"],
    "skipFilesWithExtensions": [".pdf", ".py"],
    "parentPathPattern": "/drive/root:/hello/**/abc"
  }
]

Пример 5

Этот пример содержит два правила. Первое правило индексирует все файлы и папки, принадлежащие user1-domain@onmicrosoft.com и user2-domain@onmicrosoft.com. Второе правило индексирует файлы для всех остальных пользователей, но пропускает файлы с расширением .py.

[
  {
    "owners": ["user1-domain@onmicrosoft.com", "user2-domain@onmicrosoft.com"]
  },
  {
    "skipFilesWithExtensions": [".py"]
  }
]

Пример 6

Этот пример содержит два правила. Первое правило индексирует все файлы, принадлежащие user1-domain@onmicrosoft.com и user2-domain@onmicrosoft.com, исключая файлы .md. Второе правило рекурсивно индексирует файлы и папки внутри папки abc.

[
  {
    "owners": ["user1-domain@onmicrosoft.com", "user2-domain@onmicrosoft.com"],
    "skipFilesWithExtensions": [".md"]
  },
  {
    "parentPathPattern": "/drive/root:/abc/**"
  }
]

См. Извлечение контента.

Структура подключенного модуля позволяет операторам запускать функциональные тесты на реальном источнике данных. Дополнительные сведения см. в разделе Тестирование подключенных модулей.

Для выполнения тестирования «от конца до конца» для подключенного модуля GitHub выполните следующую команду:

$ make ftest NAME=onedrive

Для ускорения тестов добавьте флаг DATA_SIZE=small:

make ftest NAME=onedrive DATA_SIZE=small

Список известных проблем для всех подключенных модулей см. в Известные проблемы.

См. Поиск и устранение неисправностей.

См. Безопасность.