Журнал транзакций

Изменения в Lucene сохраняются на диск только во время коммита Lucene, что является относительно дорогостоящей операцией, и поэтому не может выполняться после каждой операции индексации или удаления. Изменения, произошедшие после одного коммита и до другого, будут удалены из индекса Lucene в случае выхода из строя процесса или аппаратного сбоя.

Коммиты Lucene слишком дороги для выполнения при каждом отдельном изменении, поэтому каждая копия фрагмента также записывает операции в свой журнал транзакций, известный как translog. Все операции индексации и удаления записываются в translog после обработки внутренним индексом Lucene, но до подтверждения. В случае сбоя недавние операции, подтверждённые, но ещё не включённые в последний коммит Lucene, восстанавливаются из translog при восстановлении фрагмента.

Elasticsearch сброс — это процесс выполнения коммита Lucene и начала новой генерации translog. Сбросы выполняются автоматически в фоновом режиме, чтобы убедиться, что translog не станет слишком большим, что увеличит время повторного воспроизведения операций во время восстановления. Возможность выполнения сброса вручную также доступна через API, хотя это редко требуется.

Данные в translog сохраняются на диск только при fsync и коммита. В случае аппаратного сбоя, сбоя операционной системы, сбоя JVM или сбоя фрагмента любые данные, записанные с момента предыдущего коммита translog, будут потеряны.

По умолчанию, index.translog.durability установлено в значение request, что означает, что Elasticsearch будет сообщать клиенту об успешном выполнении запросов индексации, удаления, обновления или массовой обработки только после успешного fsync и коммита в translog на первичном узле и на каждом выделенном реплике. Если index.translog.durability установлено в значение async, тогда Elasticsearch fsync и коммитит translog только каждые index.translog.sync_interval, что означает, что любые операции, выполненные непосредственно перед сбоем, могут быть утеряны при восстановлении узла.

Следующие динамически изменяемые настройки на уровне индекса контролируют поведение translog:

Если индекс не использует мягкие удаления для сохранения исторических операций, Elasticsearch восстанавливает каждый фрагмент реплики, воспроизводя операции из translog первичного узла. Это означает, что важно, чтобы первичный узел сохранял дополнительные операции в своём translog на случай необходимости восстановления реплики. Более того, важно, чтобы каждая реплика сохраняла дополнительные операции в своём translog на случай, если она будет повышена до первичного узла и ей потребуется восстановить свои собственные реплики. Следующие настройки контролируют, сколько translog сохраняется для восстановительных операций между узлами.