Фильтр токенов MinHash

Фильтр токенов min_hash позволяет хешировать документы для поиска по сходству. Поиск по сходству, или поиск ближайших соседей, — сложная задача. Простое решение требует исчерпывающего сравнения каждой пары документов (запрос и документ из индекса). Это неприемлемо, если индекс большой. Разработаны различные решения для приближенного поиска ближайших соседей, которые делают поиск по сходству более практичным и выполнимым с точки зрения вычислений. Одно из этих решений включает хеширование документов.

Документы хешируются таким образом, что похожие документы с большей вероятностью генерируют одинаковый хэш и попадают в одну корзину, в то время как несхожие документы с большей вероятностью хешируются в разные корзины. Такой тип хеширования называется чувствительным к локальности хешированием (LSH).

В зависимости от определения сходства между документами, были предложены различные функции LSH . Для сходства Жаккара популярной функцией LSH является MinHash. Общий принцип того, как MinHash создает подпись для документа, заключается в применении случайной перестановки над всем словарём индекса (случайное нумерование для словаря) и записи минимального значения для этой перестановки для документа (минимальное число для слова словаря, присутствующего в документе). Перестановки выполняются несколько раз; объединение минимальных значений для всех них составит подпись для документа.

На практике вместо случайных перестановок выбирается несколько функций хеширования. Функция хеширования вычисляет хэш-код для каждого токена документа и выбирает минимальный хэш-код среди них. Минимальные хэш-коды от всех функций хеширования объединяются для формирования подписи документа.

Чтобы настроить фильтр min_hash, дублируйте его, чтобы создать основу для нового пользовательского фильтра токенов. Вы можете изменить фильтр, используя его настраиваемые параметры.

Например, следующий запрос создания индекса API использует следующие пользовательские фильтры токенов для настройки нового пользовательского анализатора:

Запрос также назначает пользовательский анализатор для отображения поля fingerprint.

resp = client.indices.create(
    index="my-index-000001",
    settings={
        "analysis": {
            "filter": {
                "my_shingle_filter": {
                    "type": "shingle",
                    "min_shingle_size": 5,
                    "max_shingle_size": 5,
                    "output_unigrams": False
                },
                "my_minhash_filter": {
                    "type": "min_hash",
                    "hash_count": 1,
                    "bucket_count": 512,
                    "hash_set_size": 1,
                    "with_rotation": True
                }
            },
            "analyzer": {
                "my_analyzer": {
                    "tokenizer": "standard",
                    "filter": [
                        "my_shingle_filter",
                        "my_minhash_filter"
                    ]
                }
            }
        }
    },
    mappings={
        "properties": {
            "fingerprint": {
                "type": "text",
                "analyzer": "my_analyzer"
            }
        }
    },
)
print(resp)

response = client.indices.create(
  index: 'my-index-000001',
  body: {
    settings: {
      analysis: {
        filter: {
          my_shingle_filter: {
            type: 'shingle',
            min_shingle_size: 5,
            max_shingle_size: 5,
            output_unigrams: false
          },
          my_minhash_filter: {
            type: 'min_hash',
            hash_count: 1,
            bucket_count: 512,
            hash_set_size: 1,
            with_rotation: true
          }
        },
        analyzer: {
          my_analyzer: {
            tokenizer: 'standard',
            filter: [
              'my_shingle_filter',
              'my_minhash_filter'
            ]
          }
        }
      }
    },
    mappings: {
      properties: {
        fingerprint: {
          type: 'text',
          analyzer: 'my_analyzer'
        }
      }
    }
  }
)
puts response

const response = await client.indices.create({
  index: "my-index-000001",
  settings: {
    analysis: {
      filter: {
        my_shingle_filter: {
          type: "shingle",
          min_shingle_size: 5,
          max_shingle_size: 5,
          output_unigrams: false,
        },
        my_minhash_filter: {
          type: "min_hash",
          hash_count: 1,
          bucket_count: 512,
          hash_set_size: 1,
          with_rotation: true,
        },
      },
      analyzer: {
        my_analyzer: {
          tokenizer: "standard",
          filter: ["my_shingle_filter", "my_minhash_filter"],
        },
      },
    },
  },
  mappings: {
    properties: {
      fingerprint: {
        type: "text",
        analyzer: "my_analyzer",
      },
    },
  },
});
console.log(response);

PUT /my-index-000001
{
  "settings": {
    "analysis": {
      "filter": {
        "my_shingle_filter": {      
          "type": "shingle",
          "min_shingle_size": 5,
          "max_shingle_size": 5,
          "output_unigrams": false
        },
        "my_minhash_filter": {
          "type": "min_hash",
          "hash_count": 1,          
          "bucket_count": 512,      
          "hash_set_size": 1,       
          "with_rotation": true     
        }
      },
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "standard",
          "filter": [
            "my_shingle_filter",
            "my_minhash_filter"
          ]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "fingerprint": {
        "type": "text",
        "analyzer": "my_analyzer"
      }
    }
  }
}