Справочник по подключению к PostgreSQL

Этот коннектор доступен как управляемый коннектор Elastic в версиях Elastic 8.8.0 и выше. Чтобы использовать этот коннектор напрямую в Elastic Cloud, выполните все требования к управляемому коннектору Elastic.

Чтобы создать новый коннектор PostgreSQL:

Для дополнительных операций см. Пользовательский интерфейс коннекторов в Kibana.

Вы можете использовать Elasticsearch API создания коннектора для создания нового родного коннектора PostgreSQL.

Например:

resp = client.connector.put(
    connector_id="my-{service-name-stub}-connector",
    index_name="my-elasticsearch-index",
    name="Content synced from {service-name}",
    service_type="{service-name-stub}",
    is_native=True,
)
print(resp)

const response = await client.connector.put({
  connector_id: "my-{service-name-stub}-connector",
  index_name: "my-elasticsearch-index",
  name: "Content synced from {service-name}",
  service_type: "{service-name-stub}",
  is_native: true,
});
console.log(response);

PUT _connector/my-postgresql-connector
{
  "index_name": "my-elasticsearch-index",
  "name": "Content synced from PostgreSQL",
  "service_type": "postgresql",
  "is_native": true
}

Подробные сведения обо всех доступных API коннекторов см. в документации API Elasticsearch.

Чтобы использовать этот коннектор как управляемый коннектор Elastic, используйте рабочий процесс Коннектор. См. Управляемые коннекторы Elastic.

Для дополнительных операций см. <←esconnectors-usage>>.

Версии PostgreSQL с 11 по 15 совместимы с коннектором Elastic.

Установите следующие поля конфигурации:

Основные правила синхронизации одинаковы для всех коннекторов и доступны по умолчанию.

Расширенные правила синхронизации определяются с помощью специфичного для источника фрагмента DSL JSON.

Вот пример данных, которые будут использоваться в следующих примерах.

Таблица employee

Таблица customer

Запросы к нескольким таблицам

[
  {
    "tables": [
      "employee"
    ],
    "query": "SELECT * FROM employee"
  },
  {
    "tables": [
      "customer"
    ],
    "query": "SELECT * FROM customer"
  }
]

Запросы к нескольким таблицам с id_columns

В 8.15.0 мы добавили новое необязательное поле id_columns в наши расширенные правила синхронизации для коннектора PostgreSQL. Используйте поле id_columns для импорта таблиц, у которых нет первичного ключа. Включите имена уникальных полей, чтобы коннектор мог использовать их для генерации уникальных идентификаторов документов.

[
  {
    "tables": [
      "employee"
    ],
    "query": "SELECT * FROM employee",
    "id_columns": ["emp_id"]
  },
  {
    "tables": [
      "customer"
    ],
    "query": "SELECT * FROM customer",
    "id_columns": ["c_id"]
  }
]

В этом примере используется поле id_columns для указания уникальных полей emp_id и c_id для таблиц employee и customer соответственно.

Фильтрация данных с помощью WHERE условия

[
  {
    "tables": ["employee"],
    "query": "SELECT * FROM employee WHERE emp_id > 5"
  }
]

JOIN операции

[
  {
    "tables": ["employee", "customer"],
    "query": "SELECT * FROM employee INNER JOIN customer ON employee.emp_id = customer.c_id"
  }
]

Известные проблемы для этого подключения отсутствуют. Обратитесь к Известные проблемы для получения списка известных проблем для всех подключений.

См. Устранение неполадок.

См. Безопасность.

Это подключение доступно как самостоятельное подключение самостоятельного подключения. Для использования этого подключения, выполните все требования к самостоятельному подключению.

Чтобы создать новое подключение к PostgreSQL:

Вы можете использовать Elasticsearch API для создания подключения для создания нового самостоятельного подключения к PostgreSQL.

Например:

resp = client.connector.put(
    connector_id="my-{service-name-stub}-connector",
    index_name="my-elasticsearch-index",
    name="Content synced from {service-name}",
    service_type="{service-name-stub}",
)
print(resp)

const response = await client.connector.put({
  connector_id: "my-{service-name-stub}-connector",
  index_name: "my-elasticsearch-index",
  name: "Content synced from {service-name}",
  service_type: "{service-name-stub}",
});
console.log(response);

PUT _connector/my-postgresql-connector
{
  "index_name": "my-elasticsearch-index",
  "name": "Content synced from PostgreSQL",
  "service_type": "postgresql"
}

Для получения подробной информации обо всех доступных API-интерфейсах подключения обратитесь к документации API Elasticsearch.

Для использования этого подключения как самостоятельного подключения, см. Самостоятельные подключения.

Для дополнительных операций см.

Версии PostgreSQL с 11 по 15 совместимы с фреймворками подключения Elastic.

Установите следующие поля конфигурации:

Вы можете развернуть подключение PostgreSQL как самостоятельное подключение с помощью Docker. Следуйте этим инструкциям.

curl https://raw.githubusercontent.com/elastic/connectors/main/config.yml.example --output ~/connectors-config/config.yml

# When connecting to your cloud deployment you should edit the host value
elasticsearch.host: http://host.docker.internal:9200
elasticsearch.api_key: <ELASTICSEARCH_API_KEY>

connectors:
  -
    connector_id: <CONNECTOR_ID_FROM_KIBANA>
    service_type: postgresql
    api_key: <CONNECTOR_API_KEY_FROM_KIBANA> # Optional. If not provided, the connector will use the elasticsearch.api_key instead

docker run \
-v ~/connectors-config:/config \
--network "elastic" \
--tty \
--rm \
docker.elastic.co/enterprise-search/elastic-connectors:8.17.3 \
/app/bin/elastic-ingest \
-c /config/config.yml

Дополнительная информация представлена в DOCKER.md в репозитории elastic/connectors.

Все доступные Docker образы можно найти в официальном реестре.

Расширенные правила синхронизации определяются с помощью специфичного для источника фрагмента DSL JSON.

Ниже приведены примеры данных, которые будут использоваться в следующих примерах.

employee таблица

customer таблица

Запросы к нескольким таблицам

[
  {
    "tables": [
      "employee"
    ],
    "query": "SELECT * FROM employee"
  },
  {
    "tables": [
      "customer"
    ],
    "query": "SELECT * FROM customer"
  }
]

Запросы к нескольким таблицам с id_columns

В версии 8.15.0 мы добавили новое необязательное поле id_columns в правила синхронизации расширенного типа для подключения PostgreSQL. Используйте поле id_columns для импорта таблиц без первичного ключа. Укажите имена уникальных полей, чтобы подключение могло использовать их для генерации уникальных идентификаторов документов.

[
  {
    "tables": [
      "employee"
    ],
    "query": "SELECT * FROM employee",
    "id_columns": ["emp_id"]
  },
  {
    "tables": [
      "customer"
    ],
    "query": "SELECT * FROM customer",
    "id_columns": ["c_id"]
  }
]

В этом примере используется поле id_columns для указания уникальных полей emp_id и c_id для таблиц employee и customer соответственно.

Фильтрация данных с помощью клаузы WHERE

[
  {
    "tables": ["employee"],
    "query": "SELECT * FROM employee WHERE emp_id > 5"
  }
]

JOIN операции

[
  {
    "tables": ["employee", "customer"],
    "query": "SELECT * FROM employee INNER JOIN customer ON employee.emp_id = customer.c_id"
  }
]

Фреймворк подключения позволяет операторам запускать функциональные тесты на реальном источнике данных. Для получения более подробной информации обратитесь к тестированию подключения.

Для выполнения конечного тестирования подключения PostgreSQL запустите следующую команду:

$ make ftest NAME=postgresql

Для более быстрых тестов добавьте флаг DATA_SIZE=small:

make ftest NAME=postgresql DATA_SIZE=small

Известные проблемы для этого подключения отсутствуют. Для получения списка известных проблем для всех подключений обратитесь к известным проблемам.

См. устранение неполадок.

См. безопасность.