› ›

Сбор журналов Elasticsearch с помощью Filebeat

Вы можете использовать Filebeat для мониторинга файлов журналов Elasticsearch, сбора событий журналов и отправки их в кластер мониторинга. Ваши последние журналы будут видны на странице Мониторинг в Kibana.

Если вы используете Elastic Agent, не разворачивайте Filebeat для сбора журналов. Вместо этого, настройте интеграцию Elasticsearch для сбора журналов.

Убедитесь, что Elasticsearch работает, и что кластер мониторинга готов принимать данные от Filebeat.

В производственных средах настоятельно рекомендуется использовать отдельный кластер (так называемый кластер мониторинга) для хранения данных. Использование отдельного кластера мониторинга предотвращает сбои в рабочем кластере от влияния на доступ к данным мониторинга. Это также предотвращает влияние задач мониторинга на производительность вашего производственного кластера. См. Мониторинг в производственной среде.
Определите, какие журналы вы хотите отслеживать.

Модуль Filebeat Elasticsearch может обрабатывать журналы аудита, журналы устаревания, журналы GC, серверные журналы и журналы медленных запросов. Более подробную информацию о местоположении ваших журналов Elasticsearch см. в настройке path.logs.

Если существуют как структурированные (*.json) , так и неструктурированные (простой текст) версии журналов, вы должны использовать структурированные журналы. В противном случае они могут не отображаться в соответствующем контексте в Kibana.
Установите Filebeat на узлах Elasticsearch, содержащих журналы, которые вы хотите отслеживать.
Определите, куда отправлять данные журналов.

Например, укажите информацию о выводе Elasticsearch для вашего кластера мониторинга в файле конфигурации Filebeat (filebeat.yml):
```
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["http://es-mon-1:9200", "http://es-mon-2:9200"] 

  # Optional protocol and basic auth credentials.
  #protocol: "https"
  #username: "elastic"
  #password: "changeme"
```
В этом примере данные хранятся в кластере мониторинга с узлами es-mon-1 и es-mon-2.

Если вы настроили кластер мониторинга для использования зашифрованной связи, необходимо получить доступ к нему через HTTPS. Например, используйте настройку hosts, такую как https://es-mon-1:9200.

Функции мониторинга Elasticsearch используют конвейеры обработки данных, поэтому кластер, хранящий данные мониторинга, должен иметь по крайней мере один узел обработки данных.

Если на кластере мониторинга включены функции безопасности Elasticsearch, необходимо указать действительный идентификатор пользователя и пароль, чтобы Filebeat мог успешно отправлять метрики.

Дополнительную информацию об этих параметрах конфигурации см. в разделе Настройка вывода Elasticsearch.
Необязательно: определите, где визуализировать данные.

Filebeat предоставляет примеры панелей управления, визуализации и поисковых запросов Kibana. Чтобы загрузить панели управления в соответствующий экземпляр Kibana, укажите информацию setup.kibana в файле конфигурации Filebeat (filebeat.yml) на каждом узле:
```
setup.kibana:
  host: "localhost:5601"
  #username: "my_kibana_user"
  #password: "YOUR_PASSWORD"
```
В производственной среде настоятельно рекомендуется использовать отдельный экземпляр Kibana для вашего кластера мониторинга.

Если включены функции безопасности, необходимо указать действительный идентификатор пользователя и пароль, чтобы Filebeat смог подключиться к Kibana:
1. Создайте пользователя в кластере мониторинга, обладающего kibana_admin встроенной ролью или эквивалентными привилегиями.
2. Добавьте настройки username и password в информацию о выводе Elasticsearch в файле конфигурации Filebeat. В примере показан жестко закодированный пароль, но вы должны хранить конфиденциальные значения в хранилище секретов.
См. Настройка конечной точки Kibana.
Включите модуль Elasticsearch и настройте начальную среду Filebeat на каждом узле.

Например:
```
filebeat modules enable elasticsearch
filebeat setup -e
```
Дополнительную информацию см. в разделе Модуль Elasticsearch.
Настройте модуль Elasticsearch в Filebeat на каждом узле.

Если журналы, которые вы хотите отслеживать, находятся не по умолчанию, установите соответствующие переменные пути в файле modules.d/elasticsearch.yml. См. Настройка модуля Elasticsearch.

Если есть журналы JSON, настройте настройки var.paths, чтобы они указывали на них вместо обычных текстовых журналов.
Запустите Filebeat на каждом узле.

В зависимости от способа установки Filebeat, при попытке запуска модулей Filebeat могут возникнуть ошибки, связанные с правами доступа к файлам или разрешениями. См. Права доступа к файлам конфигурации и разрешения.
Проверьте, существуют ли соответствующие индексы в кластере мониторинга.

Например, используйте команду cat indices для проверки наличия новых filebeat-* индексов.

Если вы хотите использовать интерфейс Мониторинга в Kibana, должны также существовать .monitoring-* индексы. Эти индексы создаются при сборе метрик о продуктах Elastic Stack. Например, см. Сбор данных мониторинга с помощью Metricbeat.
Просмотр данных мониторинга в Kibana.

© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/8.17/configuring-filebeat.html