Фильтр токенов MinHash

Фильтр токенов min_hash позволяет хешировать документы для поиска по сходству. Поиск по сходству, или поиск ближайших соседей — сложная задача. Примитивное решение требует исчерпывающего сравнения каждой пары документов, запроса и каждого документа в индексе. Это неприемлемо, если индекс большой. Было разработано несколько решений приближенного поиска ближайших соседей, чтобы сделать поиск по сходству более практичным и вычислительно осуществимым. Одним из таких решений является хеширование документов.

Документы хешируются таким образом, что похожие документы с большей вероятностью генерируют один и тот же хеш-код и попадают в одну хеш-корзину, а непохожие документы с большей вероятностью хешируются в разные хеш-корзины. Этот тип хеширования известен как локально-чувствительное хеширование (LSH).

В зависимости от того, что определяет сходство между документами, было предложено несколько функций LSH . Для сходства по индексу Жаккара популярной функцией LSH является MinHash. Общая идея того, как MinHash генерирует подпись для документа, заключается в применении случайной перестановки ко всему словарю индекса (случайное нумерование для словаря) и записи минимального значения для этой перестановки для документа (минимального номера для слова словаря, присутствующего в документе). Перестановки выполняются несколько раз; объединение минимальных значений для всех из них составит подпись для документа.

На практике вместо случайных перестановок выбирается несколько функций хеширования. Функция хеширования вычисляет хеш-код для каждого токена документа и выбирает минимальный хеш-код среди них. Минимальные хеш-коды из всех функций хеширования объединяются для формирования подписи документа.

Для настройки фильтра min_hash дублируйте его, чтобы создать основу для нового пользовательского фильтра токенов. Вы можете изменить фильтр, используя его конфигурируемые параметры.

Например, следующий запрос создания индекса использует следующие пользовательские фильтры токенов для настройки нового пользовательского анализатора:

Запрос также назначает пользовательский анализатор для сопоставления поля fingerprint.

PUT /my-index-000001
{
  "settings": {
    "analysis": {
      "filter": {
        "my_shingle_filter": {      
          "type": "shingle",
          "min_shingle_size": 5,
          "max_shingle_size": 5,
          "output_unigrams": false
        },
        "my_minhash_filter": {
          "type": "min_hash",
          "hash_count": 1,          
          "bucket_count": 512,      
          "hash_set_size": 1,       
          "with_rotation": true     
        }
      },
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "standard",
          "filter": [
            "my_shingle_filter",
            "my_minhash_filter"
          ]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "fingerprint": {
        "type": "text",
        "analyzer": "my_analyzer"
      }
    }
  }
}