Учебник по самонастраиваемому коннектору PostgreSQL

В этом руководстве вы пройдете процесс создания автономного коннектора для источника данных PostgreSQL. Вы будете использовать рабочий процесс автономного коннектора в интерфейсе Kibana. Это означает, что вы будете развертывать коннектор на собственной инфраструктуре. Для получения дополнительной информации об этом коннекторе обратитесь к справке по коннектору Elastic PostgreSQL.

Вы будете использовать фреймворк коннекторов, чтобы создать коннектор. В этом упражнении вы будете работать как в терминале (или вашем IDE), так и в интерфейсе Kibana.

Если вы хотите развернуть автономный коннектор для другого источника данных, используйте это руководство как шаблон. Обратитесь к списку доступных автономных коннекторов.

Сначала убедитесь, что вы удовлетворяете предварительным требованиям к автономным коннекторам.

Вам необходимо:

ALTER SYSTEM SET track_commit_timestamp = on;

Для завершения этого руководства вам необходимо выполнить следующие шаги:

Коннекторы Elastic позволяют создавать индексируемые, только для чтения копии ваших источников данных в Elasticsearch. Первым шагом в настройке вашего автономного коннектора является создание индекса.

В интерфейсе Kibana перейдите к Поиск > Контент > Индексы Elasticsearch из главного меню или воспользуйтесь полем глобального поиска.

Создайте новый индекс коннектора:

Индекс создан и готов к настройке.

После создания индекса вы можете настроить коннектор. Вы будете проходить этот процесс в интерфейсе.

Теперь, когда вы настроили код коннектора, вы можете запустить службу коннектора.

В вашем терминале или IDE:

Служба коннектора должна быть запущена. В интерфейсе вы увидите сообщение о том, что коннектор успешно подключился к Elasticsearch.

Здесь мы работаем локально. В производственных установках вы развернете службу коннектора на собственной инфраструктуре. Если вы предпочитаете использовать Docker, обратитесь к документации репозитория для инструкций.

После настройки коннектора вы можете использовать его для индексирования вашего источника данных.

Теперь вы можете ввести данные о вашем экземпляре PostgreSQL в интерфейсе Kibana.

Введите следующую информацию:

После ввода всех этих данных выберите Сохранить конфигурацию.

Если вы перейдете на вкладку Обзор в интерфейсе Kibana, вы сможете увидеть статус загрузки коннектора. Теперь он должен измениться на Настроен.

Пришло время запустить синхронизацию, выбрав кнопку Синхронизация.

Если вы перейдете в окно терминала, где вы запускаете службу коннектора, вы увидите вывод, подобный следующему:

[FMWK][13:22:26][INFO] Fetcher <create: 499 update: 0 |delete: 0>
[FMWK][13:22:26][INF0] Fetcher <create: 599 update: 0 |delete: 0>
[FMWK][13:22:26][INFO] Fetcher <create: 699 update: 0 |delete: 0>
...
[FMWK][23:22:28][INF0] [oRXQwYYBLhXTs-qYpJ9i] Sync done: 3864 indexed, 0 deleted.
(27 seconds)

Это подтверждает, что коннектор получил записи из вашей таблицы (таблиц) PostgreSQL и преобразовал их в документы в вашем индексе Elasticsearch.

Проверьте ваши документы Elasticsearch на вкладке Документы в интерфейсе Kibana.

Если вы удовлетворены результатами, установите график периодической синхронизации на вкладке Планирование. Это гарантирует, что ваши индексируемые данные в Elasticsearch всегда актуальны с изменениями в вашем источнике данных PostgreSQL.