Вывод информации: поиск и анализ

Вы можете использовать Elasticsearch в качестве хранилища документов и извлекать документы и их метаданные, но настоящая мощь заключается в лёгком доступе к полному набору возможностей поиска, основанных на библиотеке поиска Apache Lucene.

Elasticsearch предоставляет простой и понятный REST API для управления кластером, индексирования и поиска данных. В тестовых целях вы можете легко отправлять запросы непосредственно из командной строки или через консоль разработчика в Kibana. Из ваших приложений вы можете использовать клиент Elasticsearch на языке вашего выбора: Java, JavaScript, Go, .NET, PHP, Perl, Python или Ruby.

REST API Elasticsearch поддерживает структурированные запросы, полнотекстовые запросы и сложные запросы, объединяющие оба типа. Структурированные запросы похожи на запросы, которые можно построить в SQL. Например, вы можете выполнить поиск по полям gender и age в индексе employee и отсортировать результаты по полю hire_date. Полнотекстовые запросы находят все документы, соответствующие поисковому запросу, и возвращают их, отсортированные по релевантности — насколько хорошо они соответствуют вашим поисковым терминам.

В дополнение к поиску отдельных терминов, вы можете выполнять поиск фраз, поиск по сходству и поиск по префиксу, а также получать предложения автозаполнения.

У вас есть геопространственные или другие числовые данные, которые вы хотите искать? Elasticsearch индексирует нетекстовые данные в оптимизированных структурах данных, поддерживающих высокопроизводительные гео- и числовые запросы.

Вы можете получить доступ ко всем этим возможностям поиска, используя всеобъемлющий язык запросов Elasticsearch в формате JSON (Query DSL). Вы также можете строить запросы в стиле SQL для поиска и агрегации данных непосредственно в Elasticsearch, а драйверы JDBC и ODBC позволяют широкому спектру сторонних приложений взаимодействовать с Elasticsearch через SQL.

Агрегации Elasticsearch позволяют создавать сложные сводки данных и получать представление о ключевых метриках, закономерностях и тенденциях. Вместо того, чтобы просто найти искомую «иголку в стоге сена», агрегации позволяют ответить на такие вопросы, как:

Вы также можете использовать агрегации для ответа на более тонкие вопросы, такие как:

Поскольку агрегации используют те же структуры данных, что и поиск, они также очень быстры. Это позволяет вам анализировать и визуализировать данные в реальном времени. Ваши отчеты и панели мониторинга обновляются по мере изменения данных, так что вы можете действовать на основе последней информации.

Более того, агрегации работают вместе с запросами поиска. Вы можете искать документы, фильтровать результаты и выполнять анализ одновременно на одних и тех же данных в одном запросе. И поскольку агрегации вычисляются в контексте конкретного поиска, вы отображаете не просто количество иголок размером 70, а количество иголок размером 70, соответствующих критериям поиска ваших пользователей, например, все иголки для вышивки размером 70.

Хотите автоматизировать анализ данных временных рядов? Вы можете использовать функции машинного обучения для создания точных базовых линий нормального поведения в ваших данных и выявления аномальных закономерностей. С помощью машинного обучения вы можете обнаруживать:

И самое главное? Вы можете сделать это, не указывая алгоритмы, модели или другие конфигурации, связанные с данными науки о данных.