› ›

Добавление данных в Elasticsearch

Существует несколько способов загрузки данных в Elasticsearch. Выбор зависит от того, работаете ли вы с отметками времени или без них, от источника данных, его сложности и других факторов.

Вы можете загрузить образцы данных в свой кластер Elasticsearch с помощью Kibana, чтобы быстро начать работу.

Общие данные

Общие данные — это данные без отметки времени. Это могут быть векторные вложения, контент веб-сайтов, каталоги продукции и т. д. Для общих данных у вас есть следующие варианты добавления данных в индексы Elasticsearch:

API: Используйте API Elasticsearch Document APIs для прямого индексирования документов, используя Dev Tools Консоль или cURL.

Если вы разрабатываете веб-сайт или приложение, вы можете вызывать API Elasticsearch с помощью клиента Elasticsearch на языке программирования по вашему выбору. Если вы используете Python-клиент, обратитесь к репозиторию elasticsearch-labs для различных примеров ноутбуков.
Загрузка файла: Используйте загрузчик файлов Kibana для индексирования отдельных файлов для разовых тестов и изучения. Пользовательский интерфейс проведет вас через настройку вашего индекса и сопоставления полей.
Веб-парсер: Извлечение и индексирование контента веб-страниц в документы Elasticsearch.
Коннекторы: Синхронизация данных из различных сторонних источников данных для создания индексируемых, только для чтения реплик в Elasticsearch.

Данные с отметкой времени

Данные с отметкой времени в Elasticsearch — это наборы данных, которые включают поле с отметкой времени. Если вы используете Elastic Common Schema (ECS), это поле называется @timestamp. Это могут быть данные, такие как логи, метрики и трассировки.

Для данных с отметкой времени у вас есть следующие варианты добавления данных в потоки данных Elasticsearch:

Elastic Agent и Fleet: Предпочтительный способ индексирования данных с отметкой времени. Каждая интеграция на основе Elastic Agent включает стандартные правила загрузки, панели управления и визуализации, чтобы сразу начать анализ данных. Вы можете использовать интерфейс Fleet в Kibana для централизованного управления Elastic Agents и их политиками.
Beats: Если ваш источник данных не поддерживается Elastic Agent, используйте Beats для сбора и отправки данных в Elasticsearch. Для каждого типа собираемых данных устанавливается отдельный Beat.
Logstash: Logstash — это open-source движок сбора данных с возможностями потоковой передачи в реальном времени, который поддерживает множество источников данных. Вы можете использовать этот вариант, если ваш источник данных не поддерживается ни Elastic Agent, ни Beats. Также вы можете использовать Logstash для сохранения входящих данных или если вам нужно отправить данные нескольким получателям.
Клиенты языков программирования: Связанные учебники показывают, как использовать клиентов языков программирования Elasticsearch для загрузки данных из приложения. В этих примерах Elasticsearch работает в Elastic Cloud, но те же принципы применимы к любому развертыванию Elasticsearch.

Если вас интересуют конвейеры загрузки данных для данных с отметкой времени, используйте дерево принятия решений в документации Elastic Cloud, чтобы понять свои варианты.

© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/8.17/es-ingestion-overview.html