Spec-Zone.ru › Elasticsearch 7
›Руководство по Elasticsearch [7.17] ›Примечания к релизу

Elasticsearch версия 7.12.0

Также см. Изменения, требующие перехода в версии 7.12.

Обновления безопасности

  • В Elasticsearch suggester и API профилей была обнаружена уязвимость с раскрытием документов, когда включена безопасность на уровне документов и полей. Suggester и API профилей обычно отключены для индекса, когда включена безопасность на уровне документов для этого индекса. Некоторые запросы могут активировать профайлер и suggester, что может привести к раскрытию существования документов и полей, которые злоумышленник не должен видеть. Все версии Elasticsearch до 6.8.15 и 7.11.2 подвержены этой уязвимости. Для исправления необходимо обновить до 6.8.15 или 7.11.2. CVE-2021-22137

Известные проблемы

  • Уровень замораживания: (только Windows) Уровень данных замораживания полагается на несколько механизмов кэширования для ускорения доступа к файлам моментального снимка, которые можно искать. Один из этих кэшей использует файлы с разреженными данными, чтобы избежать создания больших файлов на диске, когда это не строго необходимо. Ошибка препятствовала созданию файлов с правильными параметрами для включения поддержки разреженных файлов в Windows, что приводило к созданию Elasticsearch потенциально больших файлов, которые могут заполнить весь диск.

    Эта проблема исправлена в версиях Elasticsearch 7.15.2 и более поздних. Для более ранних версий нет известного обходного решения. Файловые системы, которые по умолчанию включают разреженные файлы, не затронуты. Подробнее см. #79371.

  • Если для машинного обучения включена автоматическая масштабируемость, администратор кластера должен увеличить настройку кластера xpack.ml.max_open_jobs. Это позволяет автоматической масштабируемости работать надёжно, так как она полагается на назначение задач только через память. Имея xpack.ml.max_open_jobs как маленькое число, автоматическая масштабируемость может работать непредсказуемо.
  • Если автоматическая масштабируемость включена, и назначение задач занимает чрезмерное количество времени, размеры масштабирования могут увеличиться намного больше, чем требуется. Elasticsearch 7.13.0 содержит исправление для этой проблемы. Подробнее см. #72509
  • Снимок и восстановление: Если индекс удаляется, в то время как кластер одновременно создаёт более одного снимка, существует риск, что один из снимков никогда не завершится, а также что некоторые данные фрагментов потеряются из хранилища, что приведёт к сбою последующих операций восстановления. Для предотвращения одновременных операций снимка установите snapshot.max_concurrent_operations: 1:

    PUT _cluster/settings
    {
      "persistent" : {
        "snapshot.max_concurrent_operations" : 1
      }
    }

    Эта проблема исправлена в версиях Elasticsearch 7.13.1 и более поздних. Невозможно исправить хранилище после того, как оно было затронуто этой проблемой, поэтому необходимо восстановить хранилище из резервной копии или очистить хранилище, выполнив DELETE _snapshot/<repository name>/*, или переместиться в новое хранилище. Подробнее см. #73456.

  • Устаревшая настройка index.mapper.dynamic может сломать ваш кластер. Её можно установить только с помощью API Обновление настроек индекса. Симптомы включают в себя невозможность запуска узлов или фрагментов, не назначаемых. Не используйте эту настройку в версиях до 7.17.22. Исправление введено в 7.17.22. (проблема: #109160)

Изменения, требующие перехода

Мапинг
  • Возвращение данных вложенных данных в API полей #67432 (проблема: #63709)
Языки запросов
  • Реализация API полей в QL #68802 (проблема: #67727)
SQL
  • Тестирование и исправление обработки NULL функций строк #68379 (проблема: #58907)

Изменения Java, требующие перехода

Модули/REST-клиент Java высокого уровня
  • Перемещение поиска структуры файлов в REST-клиент высокого уровня в новый конечную точку и плагин #67290

Устаревшие функции

Распределённые
  • Предупреждение об изменении значения по умолчанию wait_for_active_shards #67527 (проблемы: #66419, #67158, #67246, #67498)
Инфраструктура/Ядро
  • Добавление предупреждения об устаревании для удалённой настройки strict_duplicate_detection #63500 (проблемы: #34588, #60222)
Гео
  • Устаревание запроса GeoPolygon в пользу запроса GeoShape #64227 (проблема: #48928)
Машинное обучение
  • Добавление проверки устаревания для снимков моделей задач, требующих обновления #66062 (проблема: #64154)
Безопасность
  • Устаревание поля id для API InvalidateApiKey #66317 (проблема: #63224)

Новые возможности

Авторизация
  • Добавить привилегии кластера для отмены задач и удаления асинхронных поисков #68679 (проблема: #67965)
EQL
  • Ввести грамматику ~ для функций, нечувствительных к регистру #67869 (проблема: #67868)
  • Ввести ключевые слова like и regex #68791 (проблема: #68639)
Модули/ILM+SLM
  • Добавить поддержку частичных индексируемых снимков для ILM #68714 (проблемы: #68509, #68605)
  • Добавить роль узла с замороженным уровнем и фазу ILM #68605 (проблема: #60848)
  • Поддержка max_single_primary_size в действии изменения размера и экспонирование в ILM #67705 (проблема: #65714)
Модули/Ingest
  • Обработчик отпечатков ingest #68415 (проблема: #53578)
  • Обработчик сети community_id для конвейеров ingest #66534 (проблема: #55685)
  • Обработчик направления сети #66644
Языки запросов
  • Реализовать поддержку типа поля date_nanos Elasticsearch #67666 (проблема: #38562)
SQL
  • Реализовать функцию TO_CHAR() #66486 (проблема: #54964)
Поиск
  • Добавить минимальную версию совместимости для SearchRequest #65896 (проблема: #63304)
  • Разделитель поля сортировки для читателей точки времени (PIT) #66093 (проблема: #56828)
Снимок/Восстановление
  • Добавить поддержку частичных индексируемых снимков для замороженного уровня #68509

Улучшения

Агрегации
  • Добавить multi_terms агрегации #67597 (задача: #65623)
  • Снизить конкуренцию при запросах с множеством агрегаций #66895 (задача: #58647)
Распределение
  • Удалить gateway.recover_after_nodes из конфигурации по умолчанию #68000 (задача: #53646)
  • Сделать InternalClusterInfoService асинхронным #66993
Аутентификация
  • Добавить grant-api-key в HLRC #68190
Авторизация
  • Добавить больше контекста в сообщения об отказе доступа к кластеру #66900 (задачи: #42166, #60357)
  • Добавить больше контекста в ошибки отказа доступа к индексу #60357 (задача: #42166)
  • Разрешить Kibana создавать индексы Fleet Server #68152
  • Поддержка привилегий оператора на этапе 2: Настройки кластера #66684
  • view_index_metadata и manage привилегии теперь предоставляют доступ к возможностям полей #67392 (задача: #66867)
Координация кластера
  • Прояснить сообщение, выводимое при несовпадении UUID кластера #66915
  • Увеличить время ожидания подключения/handshake для зондирования по умолчанию #68059 (задача: #42636)
  • Пропустить сериализацию состояния кластера в закрытый канал #67413
EQL
  • Добавить result_position в тест корректности #66761
  • Ввести API состояния поиска EQL #68065 (задача: #66955)
Двигатель
  • Назначить идентификатор поисковику, используя идентификаторы сегментов #66668 (задача: #63963)
  • Использовать объединяемый fieldsreader при восстановлении versionmap во время восстановления #66944
Функции/ILM+SLM
  • Сделать остальные шаги действия forcemerge повторно выполнимыми #66352 (задача: #48183)
  • Сделать действие unfollow и связанные с CCR шаги повторно выполнимыми #66356 (задача: #48183)
  • Пропустить действие unfollow, если индекс не является следящим #68690
Функции/API индексов
  • Добавить max_single_primary_size как условие для API переключения индекса #67842 (задача: #63026)
  • Сделать предупреждение о конфликте шаблонов детерминированным #67066 (задача: #66820)
Функции/Инжест
  • Настраиваемый тип MIME для кодирования шаблона mustache при использовании процессора set #65314 (задача: #65115)
Функции/Java REST-клиент высокого уровня
  • Добавлена поддержка передачи параметров запроса http #67802 (задача: #53846)
Функции/Java REST-клиент низкого уровня
  • Добавить заголовок метаданных клиента в RestClient запросы #66303 (задача: #66189)
Функции/Статистика
  • Добавить архитектуры процессоров в статистику кластера #68264
  • Сделать GET _cluster/stats отменяемым #68676 (задача: #55550)
Гео
  • Добавить поддержку пространственных отношений к полю geo_point #67631 (задача: #52382)
  • Реализовать IndexOrDocValuesQuery для поля geo_shape #64688
Выделение
  • Добавить параметр запроса для ограничения выделения заданной длиной #67325 (задача: #52155)
Инфра/Ядро
  • Прояснить сообщения об ошибках проверки загрузки #67501
  • Ввести "Состояния функций" для управления моментальными снимками системных индексов #63513 (задача: #61657)
Инфра/Журналирование
  • Лучше согласовать JSON-логи с ECS #67266
  • Ввести категории устаревания #67443 (задачи: #64824, #67266)
Инфра/Плагины
  • Уведомить пользователей о необходимости перезапустить Elasticsearch после установки плагина #66723 (задача: #39487)
Инфра/Скрипты
  • Добавить список разрешенных OSS для выполнения API #67038 (вопрос: #67035)
  • Получить структурированную javadoc из stdlib #68782
  • Ввести требование GPLv2 для обработанных документов stdlib #68601
  • Улучшить ошибку синтаксиса плохого шаблона регулярного выражения #68520
  • Обработать файлы stdlib для имен параметров #67837
  • Разрешить JSON-функции для ingest #67118
Infra/Настройки
  • Добавить enumsetting к org.elasticsearch.common.settings.Setting #66826 (вопрос: #65335)
  • Поддержка удаления архивированных настроек, если в кластере есть блокировки чтения только для чтения #64113
Лицензия
  • Удалить льготный период из проверки истечения срока действия лицензии #67316
Машинное обучение
  • Добавить новый многопользовательский пользовательский процессор для анализа данных в фрейме и вывода моделей #67362
  • Разрешить оценку памяти анализа данных в фрейме на узлах без ML #68146 (вопрос: #67840)
  • Автоматическое управление индексами системы машинного обучения #68044
  • Расширить гиперпараметры регрессии и классификации #67950
  • Улучшить возобновление работы задания анализа данных в фрейме, остановленного во время вывода #67623
  • Переместить структуру поиска файла на новый конечный пункт API #67123 (вопрос: #67001)
  • Сохранить прогресс вывода при запуске задания анализа данных в фрейме #68222
  • Выводить сообщения о необходимости емкости, когда задача не назначена узлу #67181
  • Исправить частный случай, который мог вызвать ложные аномалии в начале процесса обучения, если временной ряд имеет не суточные сезонность #1634
  • Вычислить важность гиперпараметров, оптимизированных на этапе тонкой настройки параметров #1627
  • Преждевременная остановка этапа тонкой настройки параметров для обучения моделей классификации и регрессии #1676
  • Исправить обновление для состояния до версии 6.3 для детекторов аномалий lat_long #1681
  • Суммирование признаков по дереву для ускорения обучения моделей регрессии и классификации и повышения масштабируемости для большого количества признаков #1733
Сопоставление
  • Кратчайший путь для избежания fmod #66909
Упаковка
  • Корректировки контекста докер-образа Iron Bank #66942
Производительность
  • Добавить сценарии сравнения производительности #68369
Языки запросов
  • Адаптация извлечения вложенных полей из вывода API полей к новой структуре без сжатия #68745 (вопрос: #68722)
  • Упрощение арифметических операций в двоичных сравнениях #66022 (вопрос: #65394)
Ранжирование
  • Добавить линейную функцию к запросу rank_feature #67438 (вопрос: #49859)
Rollup
  • Удаление пула потоков rollup #65958
SQL
  • Улучшение сообщений об ошибках при фильтрации проверок по отношению к агрегатам #68763 (вопрос: #57125)
Поиск
  • Добавить методы grok и dissect для временных полей #68088 (вопрос: #67825)
  • Разрешить удаление асинхронных поисков с привилегией управления #67965
  • Избежать дублирования сериализации для TermsQueryBuilder #67223 (вопрос: #67132)
  • Раннее обнаружение исключения разрыва цепи на узле-координаторе #67431 (вопрос: #62884)
  • Ограничить глубину вложенных bool-запросов #66204 (вопрос: #55303)
  • Удалить ненужные оптимизации для TermsSetQueryBuilder #67637 (вопрос: #67223)
  • Повторная попытка в момент во времени на другой копии, когда это возможно #66713 (вопрос: #61062)
  • Незначительно ускорить скрипты #68478
  • Использовать моментальный снимок сопоставления для получения вложенных документов #66877 (вопрос: #66295)
Безопасность
  • Сконструировать сложные автоматы более эффективно #66724 (вопрос: #36062)
Моментальный снимок/Восстановление
  • Добавить ClusterUUID к RepositoryData #68002
  • Разрешить работу поисковых снимков на репозиториях только с источником #67975 (проблема: #67936)
  • Избежать асинхронного получения размера кеша для частичных фрагментов #68644
  • Запретить удаление блокировки записи из индекса поискового снимка #68036
  • Игнорировать пороговые значения дисков для частичных фрагментов #68673
  • Улучшить сообщение об ошибке при несовместимом формате репозитория #67776
  • Ввести UUID репозиториев #67829 (проблема: #66431)
  • Ввести набор инструментов/анализатор для тестирования репозитория #67247
  • Разрешить переименование репозитория поискового снимка #67968 (проблема: #66431)
  • Отклонять повторное подключение снимка поискового снимка #68816 (проблема: #68792)
Управление задачами
  • Удалить запреты на родительские задачи при отключении каналов #66066 (проблемы: #56620, #65443)
Преобразование
  • Добавить поддержку полей runtime во время поиска #67643 (проблема: #65147)
  • Автоматическое управление индексами системы преобразования #68590
  • Реализовать политику удержания для удаления данных из преобразования #67832 (проблема: #67916)
  • Переработать cat transform для отображения более полезной информации #68232 (проблемы: #66367, #66718)
  • Сообщать о последнем времени поиска в статистике преобразования #66718 (проблемы: #66367, #66410, #66718)

Исправления ошибок

Агрегации
  • Удалить toString->parse цикл обмена для отсутствующего значения в агрегации по термину #67954 (проблема: #67197)
Движок
  • Прекратить принудительные слияния на движках только для чтения #64756
Функции/Функционал
  • Предотвратить ненужные предупреждения о доступе к системному индексу в API Deprecation Info #67312 (проблема: #66063)
Функции/ILM+SLM
  • Избежать исключения в SetStepInfoUpdateTask#onFailure #67553
  • Исправить проблемы с обработкой CS в асинхронных шагах ILM #68361
Функции/REST-клиент Java Low Level
  • Исправить неправильное totalIterationCount при выполнении BulkIndexBenchmark #64515 (проблема: #61451)
Функции/Мониторинг
  • Переместить таймауты сбора данных мониторинга в координатор #67084 (проблемы: #60188, #66993)
Функции/Ingest
  • Исправить значение по умолчанию года, основанного на неделе Java в ingest #65717
Гео
  • Исправить индексацию вырожденных прямоугольников #67702 (проблема: #67695)
Инфра/Основное
  • Разрешить шаблон *,-* ("no-index") для разрушительных действий, когда destructive_requires_name имеет значение true #68021 (проблема: #67958)
Инфра/Сценарии
  • Augmentation.join не может обработать пустые строки в начале #68251 (проблема: #33434)
Машинное обучение
  • Сделать find_structure проверять lines_to_sample как минимум 2 #68199 (проблема: #68128)
  • Возвращать статус 400 для недопустимого набора символов в find_structure #68201 (проблема: #68130)
  • Возвращать статус 400 для ошибок grok_pattern в find_structure #68205 (проблема: #68132)
  • Исправить источник нестабильности в моделировании временных рядов для обнаружения аномалий. Это наблюдалось как причина ложных аномалий для раздела, который больше не получает данных #1675
  • Обеспечить остановку моделирования сезонности для данных, которые "застыли". Это важно для детекторов счетчика и суммы, которые обрабатывают пустые корзины как ноль. До этой изменения, мы иногда могли обнаружить ложные аномалии в режиме реального времени после того, как раздел больше не получал данных #1654
SQL
  • Исправить ZonedDateTime с сериализацией наносекунд #68253 (проблема: #67666)
Поиск
  • Обработать пропущенные поля непосредственно в SourceValueFetcher #68738
Снимок/Восстановление
  • Усиление проверки RepositoryData синтаксического разбора #67699 (проблема: #67696)

© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/7.17/release-notes-7.12.0.html

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API