Расширение полнотекстового поиска

Расширение полнотекстового поиска — это расширение DuckDB, которое позволяет выполнять поиск по строкам, подобно расширению FTS5 в SQLite.

Установка и загрузка

Расширение fts будет автоматически загружено при первом использовании из официального репозитория расширений. Если вы хотите установить и загрузить его вручную, выполните следующую команду:

INSTALL fts;
LOAD fts;

Использование

Расширение добавляет две PRAGMA команды в DuckDB: одну для создания и одну для удаления индекса. Кроме того, добавлена скалярная макрос stem, который используется расширением внутри.

PRAGMA create_fts_index

create_fts_index(input_table, input_id, *input_values, stemmer = 'porter',
                 stopwords = 'english', ignore = '(\\.|[^a-z])+',
                 strip_accents = 1, lower = 1, overwrite = 0)

PRAGMA для создания индекса FTS для указанной таблицы.

Этот PRAGMA строит индекс в только что созданной схеме. Схема будет названа в честь таблицы входных данных: если индекс создается для таблицы 'main.table_name', то схема будет названа 'fts_main_table_name'.

PRAGMA drop_fts_index

drop_fts_index(input_table)

Удаляет индекс FTS для указанной таблицы.

match_bm25 Функция

match_bm25(input_id, query_string, fields := NULL, k := 1.2, b := 0.75, conjunctive := 0)

При построении индекса создается эта макрос извлечения, которая может использоваться для поиска в индексе.

stem Функция

stem(input_string, stemmer)

Приводит слова к их основе. Используется расширением внутри.

Пример использования

Создайте таблицу и заполните ее текстовыми данными:

CREATE TABLE documents (
    document_identifier VARCHAR,
    text_content VARCHAR,
    author VARCHAR,
    doc_version INTEGER
);
INSERT INTO documents
    VALUES ('doc1',
            'The mallard is a dabbling duck that breeds throughout the temperate.',
            'Hannes Mühleisen',
            3),
           ('doc2',
            'The cat is a domestic species of small carnivorous mammal.',
            'Laurens Kuiper',
            2
           );

Создайте индекс и сделайте столбцы text_content и author доступными для поиска.

PRAGMA create_fts_index(
    'documents', 'document_identifier', 'text_content', 'author'
);

Ищите в индексе поля author документы, написанные Muhleisen. Это вернет doc1:

SELECT document_identifier, text_content, score
FROM (
    SELECT *, fts_main_documents.match_bm25(
        document_identifier,
        'Muhleisen',
        fields := 'author'
    ) AS score
    FROM documents
) sq
WHERE score IS NOT NULL
  AND doc_version > 2
ORDER BY score DESC;

Ищите документы о small cats. Это вернет doc2:

SELECT document_identifier, text_content, score
FROM (
    SELECT *, fts_main_documents.match_bm25(
        document_identifier,
        'small cats'
    ) AS score
    FROM documents
) sq
WHERE score IS NOT NULL
ORDER BY score DESC;

Предупреждение Индекс FTS не будет автоматически обновляться при изменении входной таблицы. Обходным решением этой проблемы является пересоздание индекса для обновления.