Справочник по соединителю Elastic MongoDB

Этот коннектор доступен в качестве управляемого коннектора в версиях Elastic 8.5.0 и более поздних.

Чтобы использовать этот коннектор в Elastic Cloud, выполните все требования к управляемому коннектору.

Этот коннектор совместим с MongoDB Atlas и MongoDB 3.6 и более поздними версиями.

Источник данных и ваша установка Elastic должны иметь возможность обмениваться данными по сети.

Каждый раз, когда вы создаете индекс, который будет управляться этим коннектором, вы создадите новую конфигурацию коннектора. Вам потребуется вся или часть следующей информации о источнике данных.

Для создания нового коннектора MongoDB:

Для дополнительных операций, см. Connectors UI в Kibana.

Вы можете использовать API Elasticsearch Создание коннектора для создания нового коннектора MongoDB.

Например:

resp = client.connector.put(
    connector_id="my-{service-name-stub}-connector",
    index_name="my-elasticsearch-index",
    name="Content synced from {service-name}",
    service_type="{service-name-stub}",
    is_native=True,
)
print(resp)

const response = await client.connector.put({
  connector_id: "my-{service-name-stub}-connector",
  index_name: "my-elasticsearch-index",
  name: "Content synced from {service-name}",
  service_type: "{service-name-stub}",
  is_native: true,
});
console.log(response);

PUT _connector/my-mongodb-connector
{
  "index_name": "my-elasticsearch-index",
  "name": "Content synced from MongoDB",
  "service_type": "mongodb",
  "is_native": true
}

См. документацию API Elasticsearch для получения подробной информации обо всех доступных API коннекторов.

Чтобы использовать этот коннектор в качестве управляемого коннектора, используйте рабочий процесс Коннектора. См. Управляемые коннекторы Elastic.

Для дополнительных операций, см. Connectors UI в Kibana.

Пример доступен для этого коннектора. См. Учебник по управляемому коннектору (MongoDB).

Невозможно использовать выражения, такие как new Date(), внутри агрегационного конвейера. Эти выражения не будут вычислены подлежащим клиентом MongoDB, а будут переданы как строка экземпляру MongoDB. Возможным решением является использование переменных агрегации.

Неправильно (new Date() будет интерпретироваться как строка):

{
    "aggregate": {
        "pipeline": [
            {
                "$match": {
                  "expiresAt": {
                    "$gte": "new Date()"
                  }
                }
            }
        ]
    }
}

Правильно (использование $$NOW):

{
  "aggregate": {
    "pipeline": [
      {
        "$addFields": {
          "current_date": {
            "$toDate": "$$NOW"
          }
        }
      },
      {
        "$match": {
          "$expr": {
            "$gte": [
              "$expiresAt",
              "$current_date"
            ]
          }
        }
      }
    ]
  }
}

В настоящее время коннектор MongoDB не поддерживает работу с самозаверяющимися или пользовательскими сертификатами CA при подключении к вашему самостоятельно управляемому хосту MongoDB.

Это можно обойти в средах разработки, добавив определенные параметры запроса к настроенному хосту.

Например, если ваш хост - mongodb+srv://my.mongo.host.com, добавление ?tls=true&tlsAllowInvalidCertificates=true позволит отключить проверку TLS-сертификатов.

Полный хост в этом примере будет выглядеть так:

mongodb+srv://my.mongo.host.com/?tls=true&tlsAllowInvalidCertificates=true

См. Известные проблемы для любых проблем, затрагивающих все коннекторы.

См. Отладку.

См. Безопасность.

Ниже описано стандартное поведение синхронизации для этого коннектора. Используйте правила синхронизации и конвейеры обработки данных, чтобы настроить синхронизацию для определенных индексов.

Все документы в настроенной базе данных и коллекции MongoDB извлекаются и преобразуются в документы в вашем индексе Elasticsearch.

Это приводит к документам Elasticsearch, которые тесно соответствуют исходным документам MongoDB.

Сопоставление Elasticsearch создается при создании первого документа.

Каждый синхронизация является "полной" синхронизацией. Для каждого обнаруженного документа MongoDB:

Это рекурсивно, так как вложенные документы сами могут содержать вложенные документы.

В следующих разделах описаны правила синхронизации для этого коннектора.

Основные правила синхронизации идентичны для всех коннекторов и доступны по умолчанию.

Расширенные правила для MongoDB могут быть использованы для выражения либо find запросов, либо агрегационных конвейеров. Они также могут быть использованы для настройки параметров, доступных при выполнении этих запросов/конвейеров.

Для find запросов структура этого JSON DSL должна быть следующей:

{
	"find":{
		"filter": {
			// find query goes here
		},
		"options":{
			// query options go here
		}
	}
}

Например:

{
	"find": {
		"filter": {
			"$text": {
				"$search": "garden",
				"$caseSensitive": false
			}
		},
		"skip": 10,
		"limit": 1000
	}
}

find запросы также поддерживают дополнительные параметры, например, объект projection:

{
  "find": {
    "filter": {
      "languages": [
        "English"
      ],
      "runtime": {
        "$gt":90
      }
    },
    "projection":{
      "tomatoes": 1
    }
  }
}

Где доступные параметры:

Аналогично, для агрегационных конвейеров структура JSON DSL должна быть такой:

{
	"aggregate":{
		"pipeline": [
			// pipeline elements go here
		],
		"options": {
            // pipeline options go here
		}
    }
}

Где доступные параметры:

В рамках выпуска 8.8.0 коннектор MongoDB был перемещён из фреймворка Ruby-коннекторов в фреймворк Elastic-коннекторов.

Это изменение вносит незначительные изменения в форматирование данных, извлекаемых из MongoDB:

Если ваш коннектор MongoDB перестал работать после миграции с 8.7.x на 8.8.x, ознакомьтесь с решением проблемы, описанным в Известные проблемы. Если это не помогает, мы рекомендуем удалить индекс поиска, связанный с этим коннектором, и создать коннектор MongoDB заново.

Этот коннектор также доступен в виде самоуправляемого коннектора из фреймворка коннекторов Elastic. Для использования этого коннектора как самоуправляемого коннектора, необходимо выполнить все требования к самоуправляемым коннекторам.

Этот коннектор совместим с MongoDB Atlas и MongoDB 3.6 и более поздние версии.

Источник данных и ваше развертывание Elastic должны иметь возможность обмениваться данными друг с другом по сети.

Для настройки коннектора необходимы следующие поля конфигурации:

Чтобы создать новый коннектор MongoDB:

Вы можете использовать API Elasticsearch Создание коннектора API для создания нового самоуправляемого коннектора MongoDB.

Например:

resp = client.connector.put(
    connector_id="my-{service-name-stub}-connector",
    index_name="my-elasticsearch-index",
    name="Content synced from {service-name}",
    service_type="{service-name-stub}",
)
print(resp)

const response = await client.connector.put({
  connector_id: "my-{service-name-stub}-connector",
  index_name: "my-elasticsearch-index",
  name: "Content synced from {service-name}",
  service_type: "{service-name-stub}",
});
console.log(response);

PUT _connector/my-mongodb-connector
{
  "index_name": "my-elasticsearch-index",
  "name": "Content synced from MongoDB",
  "service_type": "mongodb"
}

Подробную информацию обо всех доступных API коннекторов см. в документации API Elasticsearch.

Чтобы использовать этот коннектор как самоуправляемый коннектор, см. Самоуправляемые коннекторы. Дополнительные операции с коннекторами см. в Пользовательский интерфейс коннекторов в Kibana.

Пример доступен для этого коннектора. См. Учебное пособие по управляемому коннектору (MongoDB).

Невозможно использовать выражения, такие как new Date() внутри агрегационного конвейера. Эти выражения не будут оцениваться базовым клиентом MongoDB, а будут переданы экземпляру MongoDB как строка. Возможным решением является использование переменных агрегации.

Неправильно (new Date() будет интерпретировано как строка):

{
    "aggregate": {
        "pipeline": [
            {
                "$match": {
                  "expiresAt": {
                    "$gte": "new Date()"
                  }
                }
            }
        ]
    }
}

Правильно (использование $$NOW):

{
  "aggregate": {
    "pipeline": [
      {
        "$addFields": {
          "current_date": {
            "$toDate": "$$NOW"
          }
        }
      },
      {
        "$match": {
          "$expr": {
            "$gte": [
              "$expiresAt",
              "$current_date"
            ]
          }
        }
      }
    ]
  }
}

В настоящее время коннектор MongoDB не поддерживает работу с самозаверяющими или пользовательскими сертификатами CA при подключении к вашему самоуправляемому хосту MongoDB.

Это можно обойти в средах разработки, добавив определенные параметры запроса к настроенному хосту.

Например, если ваш хост — mongodb+srv://my.mongo.host.com, добавление ?tls=true&tlsAllowInvalidCertificates=true позволит отключить проверку сертификатов TLS.

Полный хост в этом примере будет выглядеть следующим образом:

mongodb+srv://my.mongo.host.com/?tls=true&tlsAllowInvalidCertificates=true

Ошибка, внедрённая в 8.12.0, приводит к ошибке Docker-образа коннекторов, если он запускается с MongoDB в качестве источника. Команда выведет ошибку cannot import name 'coroutine' from 'asyncio'. Эта проблема исправлена в версиях 8.12.2 и 8.13.0. Эта ошибка не влияет на управляемые коннекторы Elastic.

См. Известные проблемы для любых проблем, затрагивающих все коннекторы.

См. Поиск и устранение неполадок.

См. Безопасность.

Вы можете развернуть коннектор MongoDB как самоуправляемый коннектор с помощью Docker. Следуйте этим инструкциям.

curl https://raw.githubusercontent.com/elastic/connectors/main/config.yml.example --output ~/connectors-config/config.yml

# When connecting to your cloud deployment you should edit the host value
elasticsearch.host: http://host.docker.internal:9200
elasticsearch.api_key: <ELASTICSEARCH_API_KEY>

connectors:
  -
    connector_id: <CONNECTOR_ID_FROM_KIBANA>
    service_type: mongodb
    api_key: <CONNECTOR_API_KEY_FROM_KIBANA> # Optional. If not provided, the connector will use the elasticsearch.api_key instead

docker run \
-v ~/connectors-config:/config \
--network "elastic" \
--tty \
--rm \
docker.elastic.co/enterprise-search/elastic-connectors:8.17.3 \
/app/bin/elastic-ingest \
-c /config/config.yml

Дополнительную информацию см. в DOCKER.md в репозитории elastic/connectors.

Найдите все доступные Docker-изображения в официальном репозитории.

Ниже описано поведение по умолчанию для синхронизации этого коннектора. Используйте правила синхронизации и конвейеры обработки данных для настройки синхронизации для определенных индексов.

Все документы в настроенной базе данных и коллекции MongoDB извлекаются и преобразуются в документы в вашем индексе Elasticsearch.

Это приводит к документам Elasticsearch, которые тесно соответствуют исходным документам MongoDB.

Карта Elasticsearch создается при создании первого документа.

Каждая синхронизация является «полной». Для каждого найденного документа MongoDB:

Это рекурсивно, так как вложенные документы могут содержать вложенные документы.

В следующих разделах описаны правила синхронизации для этого коннектора.

Основные правила синхронизации идентичны для всех коннекторов и доступны по умолчанию.

Расширенные правила для MongoDB могут быть использованы для выражения запросов find или конвейеров агрегации. Они также могут быть использованы для настройки параметров, доступных при выполнении этих запросов/конвейеров.

Для запросов find структура этого JSON DSL должна выглядеть так:

{
	"find":{
		"filter": {
			// find query goes here
		},
		"options":{
			// query options go here
		}
	}
}

Например:

{
	"find": {
		"filter": {
			"$text": {
				"$search": "garden",
				"$caseSensitive": false
			}
		},
		"skip": 10,
		"limit": 1000
	}
}

Запросы find также поддерживают дополнительные параметры, например, объект projection:

{
  "find": {
    "filter": {
      "languages": [
        "English"
      ],
      "runtime": {
        "$gt":90
      }
    },
    "projection":{
      "tomatoes": 1
    }
  }
}

Доступные параметры:

Аналогично, для конвейеров агрегации структура JSON DSL должна выглядеть так:

{
	"aggregate":{
		"pipeline": [
			// pipeline elements go here
		],
		"options": {
            // pipeline options go here
		}
    }
}

Доступные параметры:

В рамках релиза 8.8.0 коннектор MongoDB был перенесен с фреймворка коннекторов Ruby на фреймворк Elastic коннекторов.

Это изменение вносит незначительные изменения в форматирование данных, извлеченных из MongoDB:

Если ваш коннектор MongoDB перестал работать после миграции с 8.7.x на 8.8.x, ознакомьтесь с решением, описанным в Известных проблемах. Если это не поможет, рекомендуется удалить индекс поиска, связанный с этим коннектором, и создать коннектор MongoDB заново.