Поиск в реальном времени

При сохранении документа в Elasticsearch, он индексируется и становится полностью доступным для поиска в почти реальном времени — в течение 1 секунды. Что определяет поиск в почти реальном времени?

Lucene, на базе которого построен Elasticsearch, ввёл концепцию поиска по сегментам. Сегмент похож на инвертированный индекс, но в Lucene слово индекс означает «совокупность сегментов плюс точка коммита». После коммита новый сегмент добавляется к точке коммита, а буфер очищается.

Между Elasticsearch и диском находится кэш файловой системы. Документы в буфере индексирования в оперативной памяти (Рисунок 4) записываются в новый сегмент (Рисунок 5). Новый сегмент сначала записывается в кэш файловой системы (что быстро), а только потом — на диск (что медленнее). Однако после того как файл находится в кэше, его можно открыть и прочитать, как любой другой файл.

Рисунок 4. Индекс Lucene с новыми документами в буфере оперативной памяти

Lucene позволяет записывать и открывать новые сегменты, делая содержащиеся в них документы видимыми для поиска, не выполняя полную фиксацию. Это значительно более быстрый процесс, чем коммит на диск, и его можно выполнять часто, не ухудшая производительность.

Рисунок 5. Содержимое буфера записывается в сегмент, который доступен для поиска, но ещё не зафиксирован

В Elasticsearch этот процесс записи и открытия нового сегмента называется обновлением. Обновление делает все операции, выполненные над индексом с момента последнего обновления, доступными для поиска. Вы можете управлять обновлениями следующими способами:

По умолчанию Elasticsearch периодически обновляет индексы каждую секунду, но только те индексы, которые получили хотя бы один запрос поиска в течение последних 30 секунд. Поэтому мы говорим, что Elasticsearch обеспечивает поиск в почти реальном времени: изменения в документах не становятся видимыми для поиска немедленно, а появятся в течение этого интервала.