Spec-Zone.ru › Elasticsearch 7
›Руководство по Elasticsearch [7.17] ›Заметки о выпуске

Elasticsearch версия 7.10.0

Также см. Изменения в работе в 7.10.

Обновления безопасности

  • В версиях Elasticsearch до 7.10.0 и 6.8.14 существует проблема с раскрытием информации при включенном аудировании журнала и параметре emit_request_body. Журнал аудита Elasticsearch может содержать конфиденциальную информацию, такую как хэши паролей или токены аутентификации. Это может позволить администратору Elasticsearch просматривать эти данные. Для исправления необходимо обновить Elasticsearch до версии 7.10.0. CVE-2020-7021

Известные проблемы

  • SQL: Если в предложении WHERE содержится как минимум два оператора сравнения, соединенные через AND, из которых один — это сравнение (<=, <, >=, >), а другой — это неравенство (!=, <>), и оба они применяются к литералам или выражениям, которые можно подставить, то оператор неравенства будет проигнорирован. В качестве обходного решения замените оператор неравенства оператором NOT IN.

    Мы исправили эту проблему в Elasticsearch 7.10.1 и более поздних версиях. Более подробную информацию см. в #65488.

  • Были некоторые регрессии при загрузке вложенных документов. Эти проблемы решены в Elasticsearch 7.10.2.

    • При нескольких уровнях вложенных inner_hits, мы можем не загрузить _source. (#66577)
    • При вложенных inner_hits быстрый выделение вектора может загрузить фрагменты из неправильного документа. (#65533)
    • Когда _source отключен, мы можем не загрузить вложенные inner_hits и top_hits. (#66572)
  • Снимок и восстановление: Если индекс удаляется, а кластер одновременно делает более одного снимка, существует риск, что один из снимков так и не завершится, а также что некоторые данные фрагмента могут быть потеряны из хранилища, что приведет к ошибкам в будущих операциях восстановления. Для уменьшения этой проблемы установите snapshot.max_concurrent_operations: 1, чтобы предотвратить одновременные операции создания снимков:

    PUT _cluster/settings
    {
      "persistent" : {
        "snapshot.max_concurrent_operations" : 1
      }
    }

    Эта проблема исправлена в версиях Elasticsearch 7.13.1 и более поздних. Восстановить репозиторий после возникновения этой проблемы невозможно, поэтому необходимо восстановить его из резервной копии или очистить репозиторий, выполнив DELETE _snapshot/<repository name>/*, или перейти к новому репозиторию. Более подробную информацию см. в #73456.

  • Разбор запроса, когда последний элемент в массиве отфильтровывается (например, с помощью _source_includes), терпит неудачу. Это связано с ошибкой в парсере Jackson. Исправлено в Elasticsearch 8.6.1 (#91456)
  • Устаревший параметр index.mapper.dynamic может сломать ваш кластер. Его можно установить только с помощью API обновления настроек индекса. Симптомы включают сбои в запуске узлов или сбои в распределении фрагментов. Не используйте этот параметр в версиях до 7.17.22. Ошибка исправлена в версии 7.17.22. (вопрос: #109160)

Изменения в работе

Аутентификация
  • Имя ключа API должно всегда требоваться для создания #59836 (вопрос: #59484)
Сеть
  • Установите определенные параметры keepalive по умолчанию на поддерживаемых платформах #59278

Изменения в Java

Машинное обучение
  • Устареть allow_no_jobs и allow_no_datafeeds в пользу allow_no_match #60601 (вопрос: #60642)
Картирование
  • Передать SearchLookup supplier через fielddataBuilder #61430 (вопрос: #59332)

Устаревшие функции

Координация кластера
  • Устареть и игнорировать таймаут соединения #60872 (вопрос: #60873)
Машинное обучение
  • Переименовать API */inference* в */trained_models* #63097

Новые возможности

Агрегации
  • Добавить агрегацию скорости #61369 (вопрос: #60674)
Функции
  • Добавить уровни данных (горячий, теплый, холодный, замороженный) как пользовательские роли узлов #60994 (вопрос: #60848)
  • Размещать вновь созданные индексы на узлах уровня data_hot #61342 (вопрос: #60848)
Функции/ILM+SLM
  • ILM перемещать данные между уровнями #61377 (вопрос: #60848)
  • ILM: добавить шаг force-merge к действию создания снимков, доступных для поиска #60819 (вопросы: #53488, #56215)
Машинное обучение
  • Реализовать метрику AucRoc для классификации #60502 (вопрос: #62160)
Картирование
  • Ввести тип поля 64-битного беззнакового длинного целого числа #60050 (вопрос: #32434)
Поиск
  • Добавить опцию поиска полей для поддержки получения данных по полям высокого уровня #60100 (вопросы: #49028, #55363)

Улучшения

Агрегации
  • Добавляет hard_bounds к агрегациям гистограмм #59175 (вопрос: #50109)
  • Распределяет немного меньше ресурсов на ведро #59740
  • Улучшает уменьшение агрегаций терминов #61779 (вопрос: #51857)
  • Ускоряет date_histogram путём предварительного вычисления диапазонов #61467
Анализ
  • Поддержка флага ignore_keywords для фильтра токенов графа разделителей слов #59563 (вопрос: #59491)
Аутентификация
  • Кэширование документа API-ключа для уменьшения трафика в индекс безопасности #59376 (вопросы: #53940, #55836)
  • Включение типа аутентификации для ответа authenticate #61247 (вопрос: #61130)
  • Дополнительные типы аутентификации клиента Oidc #58708
  • Вывод предупреждения о нелицензированных доменных именах, если токен аутентификации невозможно извлечь #61402 (вопрос: #61090)
Авторизация
  • Добавление журналирования DEBUG для поля сопоставления ролей, значение которого не определено #61246 (вопрос: #48562)
  • Добавление дополнительного контекста в ошибки отказа доступа к индексу #60357 (вопрос: #42166)
CRUD
  • Добавление настроенного лимита памяти индексирования в статистику узла #60342
  • Отдельная потоковая группа для записи в системные индексы #61655
Координация кластера
  • Добавление более полезного метода toString для наблюдателей состояния кластера #60277
  • Отклонение некорректных инкрементных записей состояния кластера #61030
  • Предоставление опции разрешения записей при отсутствии мастера #60605
Распределённый
  • Обнаружение пустых обновлений настроек индекса #61348
  • Потокобезопасная очистка LocalNodeModeListeners #59932 (вопрос: #59801)
Функции/API CAT
  • Добавление подсчёта попаданий и промахов для кэша запросов в REST API #60114 (вопрос: #48645)
Функции/Функции
  • Добавление списка агрегаций в информацию о узле #60074 (вопрос: #52057)
  • Добавление новой require_alias опции к запросам индексирования #58917 (вопрос: #55267)
Функции/ILM+SLM
  • Перенос внутренних шаблонов индексов в составные шаблоны #61457
Функции/Обработка
  • Добавление сети из базы данных Geo ASN MaxMind #61676
  • Опция allow_duplicates для процессора append #61916 (вопрос: #57543)
  • Настраиваемый формат вывода для процессора даты #61324 (вопрос: #42523)
  • Улучшение отображения подробной информации при моделировании работы узла обработки #60433 (вопрос: #56004)
  • Описание каждого процессора для подробного моделирования #58207 (вопрос: #57906)
  • Сохранение порядка шаблонов grok и добавление опции сортировки #61671 (вопрос: #40819)
Функции/Java High Level REST Клиент
  • HLRC: API UpdateByQuery с wait_for_completion, равным false #58552 (вопросы: #35202, #46350)
Инфраструктура/Ядро
  • Добавление API системных индексов logstash #53350
  • Устаревание REST доступа к системным индексам #60945
  • Ускорение логики сжатия путём пулинга ресурсов #61358
  • Чтение системных индексов в отдельной потоковой группе #57936 (вопросы: #37867, #50251)
Инфраструктура/Журналирование
  • Не создавать два логгера для DeprecationLogger #58435
  • Переработка журналирования предупреждений заголовка #55941 (вопросы: #52369, #55699)
  • Запись логов устаревания в поток данных #61484 (вопросы: #46106, #61474)
Инфраструктура/Упаковка
  • Добавление UBI сборки Docker #60742
  • Обновление версии Centos в Dockerfile на 8 #59019
Инфраструктура/Устойчивость
  • Удаление узла из кластера при разрыве блокировки узла #61400 (задачи: #52680, #58373)
Infra/Scripting
  • Расширение строки с помощью sha1 и sha256 #59671 (задача: #59633)
  • Преобразование поддержки преобразования типов и def #61350 (задача: #59647)
Machine Learning
  • Добавление параметра "verbose" к конечной точке статистики анализа фреймов данных #59589 (задача: #59125)
  • Добавление нового флага include для API подготовленных моделей для метаданных обучения моделей #61922
  • Добавление нового поля feature_processors для анализа фреймов данных #60528 (задача: #59327)
  • Добавление нового пользовательского процессора n_gram_encoding #61578
  • Во время ночной поддержки удаление задач, исходные задачи удаления которых были утеряны #60121 (задача: #42840)
  • Приостановить сохранение статистических данных обученной модели при включении режима обновления ML #61143
  • Вычисление общей важности признаков для хранения с метаданными модели #1387
  • Изменение формата признака влияния выбросов на массив с вложенными объектами #1475, #62068
  • Добавление таймаутов к именованным подключенниям канала #1514, #62993 (задача: #1504)
Mapping
  • Добавление типа поля для строк версий #59773 (задача: #48878)
  • Разрешение значений [null] в [null_value] #61798 (задачи: #7978, #58823)
  • Разрешить поля метаданных в _source #61590 (задача: #58339)
Network
  • Улучшение регистрации ошибок десериализации #60577 (задача: #38939)
  • Ведение журнала и отслеживание открытия/закрытия транспортных подключений #60297
Performance
  • Ускорение выделения пустого подсвечивания по многим полям #61860
SQL
  • Добавление опции для предоставления разделителя для формата CSV #59907 (задача: #41634)
  • Реализация функции DATE_PARSE для преобразования строк в значения DATE #57391 (задача: #54962)
  • Реализация функции FORMAT #55454 (задача: #54965)
Search
  • Избегайте перезагрузки _source для каждого внутреннего совпадения #60494 (задача: #32818)
  • Отмена multisearch при закрытии подключения http #61399
  • Включить отмену для запросов msearch #61337
  • Выполняет инкрементное сокращение в пуле потоков поиска #58461 (задачи: #51857, #53411)
  • Введение API точек во времени в x-pack basic #61062 (задачи: #26472, #46523)
  • ParametrizedFieldMapper для запуска валидаторов против значения по умолчанию #60042 (задача: #59332)
  • Добавление флага регистронезависимого сравнения для семейства запросов "term" #61596 (задача: #61546)
  • Добавление поддержки регистронезависимого сравнения для запросов regex #59441
  • Корректировка реализации XContent для ParametrizedFieldMapper #59968
  • Реализация извлечения значений полей для типов полей text, search_as_you_type и token_count #63515
  • Улучшение гибкости синтаксического анализа запросов term/prefix/wildcard/regex, в отношении флага case_insensitive #63926 (задача: #63893)
Snapshot/Restore
  • Добавление API измерений репозиториев #60371
  • Клонирование API снимка #61839
  • Определение размера фрагмента перед выделением фрагментов, восстанавливаемых из снимков #61906
  • Введение кэша блоков снимков на основе индекса для полнотекстовых снимков #60522
  • Проверка UUID снимка при восстановлении #59601 (задача: #50999)
Store
  • Отчет о дополнительных подробностях о недоступном ShardLock #61255 (задача: #38807)
Transform
  • Добавление поддержки отсутствующего ведра #59591 (задачи: #42941, #55102)

Исправления ошибок

Агрегации
  • Исправить ошибку AOOBE при установке min_doc_count в 0 в significant_terms #60823 (проблемы: #60683, #60824)
  • Убедиться, что агрегации, не производящие сбор данных, включают в себя под-агрегации #64214 (проблема: #64142)
  • Агрегация Composite должна проверять живые документы, когда индекс отсортирован #63864
  • Исправить ошибку агрегатора parent и child #63811
Распределение
  • Исправить планирование ClusterInfoService#refresh #59880
Авторизация
  • Исправить обработчик doc-update для индексов с DLS и FLS #61516
  • Сообщать об анонимных ролях в ответе authenticate #61355 (проблемы: #47195, #53453, #57711, #57853)
  • Добавить привилегию view_index_metadata над metricbeat-* для агента мониторинга #63750 (проблема: #63750)
CRUD
  • Распространять forceExecution при получении разрешения #60634 (проблема: #60359)
Координация кластера
  • Уменьшить выделение при сохранении состояния кластера #61159
Распределённый
  • Исправить ошибку cluster health rest api wait_for_no_initializing_shards #58379
  • Исправить cluster health при закрытии #61709
Двигатель
  • Исправить оценку размера транслог-операций #59206
Модули ILM+SLM
  • Исправить настройки индекса истории ILM #61880 (проблемы: #61457, #61863)
  • Убедиться, что отменённые задания SLM не продолжают выполняться #63762 (проблема: #63754)
Модуль REST-клиента Java Low Level
  • Обрабатывать порт по умолчанию в Cloud-Id #61581
Модуль статистики
  • Убрать нестабильные оценки минимального/максимального использования из статистики #59755
Модуль Watcher
  • Исправить запрос DSL для наблюдения за версией Elasticsearch #58321 (проблема: #58261)
  • Исправить передачу параметров в шаблон или скрипт, которые не сработали в watcher #58559 (проблема: #57625)
Гео
  • Исправить неправильное сравнение NaN #61795 (проблема: #48207)
Инфраструктура/Ядро
  • Выбрасывает IndexNotFoundException в TransportGetAction для неизвестных системных индексов #61785 (проблема: #57936)
  • Обработать исключения отсутствия индекса logstash #63698
  • API использования XPack должен выполняться в потоках MANAGEMENT #64160
Инфраструктура/Упаковка
  • Разрешить запуск образа Docker с группой по умолчанию #61194 (проблема: #60864)
  • Установить начальный таймаут systemd на 75 секунд #60345 (проблема: #60140)
Машинное обучение
  • Настройка процессора вывода для поддержки использования foreach #60915 (проблема: #60867)
  • API получения статистики задач аналитики фреймов данных может возвращать несколько ответов, если ошибок более одной #60900 (проблема: #60876)
  • Не помечать задачу аналитики фреймов данных как FAILED, когда произошла ошибка после выключения узла #61331 (проблема: #60596)
  • Улучшить обработку исключений при запуске процесса аналитики фреймов данных #61838 (проблема: #61704)
  • Исправить прогресс при возобновлении после завершения окончательной тренировки для классификации и регрессии. Раньше прогресс застревал на нуле для окончательной тренировки. #1443
  • Избежать потенциальных ошибок "Не удалось вычислить квантиль" и "Значения не добавлены в схематическое представление квантилей" при обучении моделей регрессии и классификации, если есть признаки с в основном отсутствующими значениями #1500
  • Исправить состояние модели задачи обнаружения аномалий min_version #1546
Картирование
  • Улучшить обработку ignore_malformed для дат #60211 (проблема: #52634)
Сеть
  • Позволить утилите isInetAddress понять идентификатор области в ipv6 #60172 (проблема: #60115)
  • Подавить шумные SSL исключения #61359
Поиск
  • Разрешает наносекундное разрешение в search_after #60328 (вопрос: #52424)
  • Объединить валидацию для docvalue_fields #59473
  • Исправить обработку извлечения полей для multifields и copy_to #61309 (вопрос: #61033)
  • Применить boost только один раз для запроса distance_feature #63767
  • Исправлена NullPointerException в significant_text агрегации, когда поле отсутствует #64144 (вопрос: #64045)
  • Исправить асинхронный поиск для повторной попытки обновлений при конфликте версий #63652 (вопрос: #63213)
  • Исправить сортированный запрос, когда date_nanos используется как numeric_type #64183 (вопрос: #63719)
Снимок/Восстановление
  • Избегайте вызова слушателя под SparseFileTracker#mutex #61626 (вопрос: #61520)
  • Убедитесь, что репозиторий не используется для удаления репозиториев с подстановочными знаками #60947
  • Исправить сбой теста в testCorrectCountsForDoneShards #60254 (вопрос: #60247)
  • Минимизировать блокировку файла кэша во время предварительного прогрева #61837 (вопрос: #58658)
  • Предотвратить монтирование снимков как системных индексов #61517 (вопрос: #60522)
  • Сделать блокировку файла кэша Searchable Snapshot’s менее #63911 (вопрос: #63586)
  • Не генерировать UUID истории настроек индекса, если он не поддерживается #64213 (вопрос: #64152)
SQL
  • Разрешить неэкранированный подстановочный знак (*) в шаблоне LIKE #63428 (вопрос: #55108)
  • Проверить целочисленный параметр в строковых функциях #63728 (вопрос: #58923)
  • Удалить фильтр из запросов field_caps #63840 (вопрос: #63832)

Усовершенствования

Infra/Упаковка
  • Обновление встроенной JDK до 15.0.1 и переход на AdoptOpenJDK #64253
Хранилище
  • Обновление до Lucene-8.7.0 #64532

© 2023-2025 Elasticsearch
As of September 2024, Elasticsearch is available under a choice of three licenses: the Server Side Public License (SSPL), the Elastic License, or the AGPLv3 (OSI approved).
Elasticsearch and the Elasticsearch logo are trademarks of Elasticsearch B.V., registered in the U.S. and in other countries.
https://www.elastic.co/guide/en/elasticsearch/reference/7.17/release-notes-7.10.0.html

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API