Справочник по соединителю Elastic для MySQL

Этот коннектор доступен в качестве управляемого коннектора в версиях Elastic 8.5.0 и более поздних. Чтобы использовать этот коннектор в Elastic Cloud, выполните все требования к управляемому коннектору.

У этого коннектора нет дополнительных предварительных условий помимо общих требований, указанных выше.

Этот коннектор совместим с MySQL 5.6 и более поздними версиями.

Коннектор также совместим с базами данных MariaDB, совместимыми с вышеперечисленными.

Источник данных и ваше развертывание Elastic должны иметь возможность обмениваться данными друг с другом по сети.

Чтобы создать новый коннектор MySQL:

Для дополнительных операций см. Пользовательский интерфейс коннекторов в Kibana.

Вы можете использовать API Elasticsearch создания коннектора, чтобы создать новый родной коннектор MySQL.

Например:

resp = client.connector.put(
    connector_id="my-{service-name-stub}-connector",
    index_name="my-elasticsearch-index",
    name="Content synced from {service-name}",
    service_type="{service-name-stub}",
    is_native=True,
)
print(resp)

const response = await client.connector.put({
  connector_id: "my-{service-name-stub}-connector",
  index_name: "my-elasticsearch-index",
  name: "Content synced from {service-name}",
  service_type: "{service-name-stub}",
  is_native: true,
});
console.log(response);

PUT _connector/my-mysql-connector
{
  "index_name": "my-elasticsearch-index",
  "name": "Content synced from MySQL",
  "service_type": "mysql",
  "is_native": true
}

Подробную информацию обо всех доступных API коннекторов см. в документации API Elasticsearch.

Чтобы использовать этот коннектор в Elastic Cloud, см. Управляемые коннекторы Elastic.

Для дополнительных операций см. Пользовательский интерфейс коннекторов в Kibana.

Каждый раз, когда вы создаёте индекс, который будет управляться этим коннектором, вы будете создавать новую конфигурацию коннектора. Вам потребуется вся или часть следующей информации о источнике данных.

У этого коннектора есть следующие известные проблемы:

См. Известные проблемы для любых проблем, влияющих на все коннекторы.

Ниже описано поведение по умолчанию при синхронизации для этого коннектора. Используйте правила синхронизации и сборные конвейеры для настройки синхронизации для конкретных индексов.

Все записи в базе данных MySQL, включённые в вашу конфигурацию коннектора, извлекаются и преобразуются в документы в вашем индексе Elasticsearch.

Карта Elasticsearch создаётся при создании первого документа.

Каждая синхронизация — это "полная" синхронизация.

Для каждой обнаруженной строки MySQL:

В следующих разделах описаны правила синхронизации для этого коннектора.

Основные правила синхронизации одинаковы для всех коннекторов и доступны по умолчанию.

Расширенные правила для MySQL могут использоваться для передачи произвольных SQL-запросов экземпляру MySQL.

Например:

[
    {
        "tables": ["table1", "table2"],
        "query": "SELECT ... FROM ..."
    }
]

См. Устранение неполадок.

См. Безопасность.

Этот коннектор доступен как управляемый коннектор в версиях Elastic 8.5.0 и выше. Чтобы использовать этот коннектор непосредственно в Elastic Cloud, выполните все требования к управляемому коннектору.

Этот коннектор также доступен как самоуправляемый коннектор из фреймворка коннекторов Elastic. Чтобы использовать этот коннектор как самоуправляемый, выполните все требования к самоуправляемому коннектору.

Дополнительных предварительных требований, помимо общих, перечисленных выше, нет.

Чтобы создать новый коннектор MySQL:

Вы можете использовать Elasticsearch API создания коннекторов для создания нового самоуправляемого коннектора MySQL.

Например:

resp = client.connector.put(
    connector_id="my-{service-name-stub}-connector",
    index_name="my-elasticsearch-index",
    name="Content synced from {service-name}",
    service_type="{service-name-stub}",
)
print(resp)

const response = await client.connector.put({
  connector_id: "my-{service-name-stub}-connector",
  index_name: "my-elasticsearch-index",
  name: "Content synced from {service-name}",
  service_type: "{service-name-stub}",
});
console.log(response);

PUT _connector/my-mysql-connector
{
  "index_name": "my-elasticsearch-index",
  "name": "Content synced from MySQL",
  "service_type": "mysql"
}

Подробные сведения обо всех доступных API коннекторов см. в документации API Elasticsearch.

Чтобы использовать этот коннектор в качестве управляемого коннектора, используйте рабочий процесс Коннектор. См. Управляемые коннекторы Elastic.

Чтобы использовать этот коннектор в качестве самоуправляемого коннектора, см. Самоуправляемые коннекторы.

Дополнительные операции см. в Пользовательский интерфейс коннекторов в Kibana.

Этот коннектор совместим с MySQL 5.6 и выше.

Коннектор также совместим с базами данных MariaDB, совместимыми с вышеперечисленными.

Источник данных и ваше развертывание Elastic должны иметь возможность обмениваться данными через сеть.

Каждый раз, когда вы создаёте индекс, который будет управляться этим коннектором, вы создаёте новую конфигурацию коннектора. Вам потребуется вся или часть следующей информации об источнике данных.

У этого коннектора есть следующие известные проблемы:

См. Известные проблемы для любых проблем, влияющих на все коннекторы.

Ниже описано стандартное поведение синхронизации для этого коннектора. Используйте правила синхронизации и справочные конвейеры, чтобы настроить синхронизацию для определённых индексов.

Все записи в базе данных MySQL, включённые в конфигурацию вашего коннектора, извлекаются и преобразуются в документы в вашем индексе Elasticsearch.

Карта Elasticsearch создаётся при создании первого документа.

Каждая синхронизация — это "полная" синхронизация.

Для каждой найденной строки MySQL:

Вы можете развернуть коннектор MySQL как самоуправляемый коннектор с помощью Docker. Следуйте этим инструкциям.

curl https://raw.githubusercontent.com/elastic/connectors/main/config.yml.example --output ~/connectors-config/config.yml

# When connecting to your cloud deployment you should edit the host value
elasticsearch.host: http://host.docker.internal:9200
elasticsearch.api_key: <ELASTICSEARCH_API_KEY>

connectors:
  -
    connector_id: <CONNECTOR_ID_FROM_KIBANA>
    service_type: mysql
    api_key: <CONNECTOR_API_KEY_FROM_KIBANA> # Optional. If not provided, the connector will use the elasticsearch.api_key instead

docker run \
-v ~/connectors-config:/config \
--network "elastic" \
--tty \
--rm \
docker.elastic.co/enterprise-search/elastic-connectors:8.17.3 \
/app/bin/elastic-ingest \
-c /config/config.yml

Для получения более подробной информации обратитесь к DOCKER.md в репозитории elastic/connectors.

Найдите все доступные Docker-изображения в официальном реестре.

В следующих разделах описаны Правила синхронизации для данного коннектора.

Основные правила синхронизации идентичны для всех коннекторов и доступны по умолчанию.

Расширенные правила для MySQL позволяют передавать произвольные SQL-запросы в экземпляр MySQL.

Например:

[
    {
        "tables": ["table1", "table2"],
        "query": "SELECT ... FROM ..."
    }
]

См. Устранение неполадок.

См. Безопасность.