Встроенный анализатор полнотекстового поиска MySQL использует пробелы между словами в качестве разделителей для определения начала и конца слов, что является ограничением при работе с идеографическими языками, не использующими разделителей слов. Для решения этой проблемы в MySQL представлен плагин анализатора полнотекстового поиска MeCab. Плагин анализатора полнотекстового поиска MeCab поддерживается для использования с InnoDB и MyISAM.

Плагин анализатора полнотекстового поиска MeCab — это плагин анализатора полнотекстового поиска для японского языка, который разбивает последовательность текста на значимые слова. Например, MeCab разбивает “データベース管理” (“Управление базами данных”) на “データベース” (“База данных”) и “管理” (“Управление”). В сравнении, плагин анализатора полнотекстового поиска ngram разбивает текст на непрерывную последовательность n символов, где n представляет число от 1 до 10.

Помимо разбиения текста на осмысленные слова, индексы MeCab обычно меньше, чем индексы ngram, а поиск по полнотекстовому анализу MeCab, как правило, быстрее. Одним из недостатков является то, что анализ документов с помощью плагина полнотекстового поиска MeCab может занимать больше времени по сравнению с плагином полнотекстового поиска ngram.

Синтаксис полнотекстового поиска, описанный в разделе 14.9 «Функции полнотекстового поиска», применим к плагину анализатора MeCab. Различия в поведении анализа описаны в этом разделе. Применимы также конфигурационные параметры, относящиеся к полнотекстовому поиску.

Дополнительную информацию об анализаторе MeCab можно найти в проекте MeCab: ещё один анализатор морфологии и частей речи на Github.

Установка плагина анализатора MeCab

Плагин анализатора MeCab требует mecab и mecab-ipadic.

На поддерживаемых платформах Fedora, Debian и Ubuntu (кроме Ubuntu 12.04, где системная версия mecab слишком старая), MySQL динамически связывается с установкой системного mecab, если она установлена по умолчанию. На других поддерживаемых платформах Unix-подобного типа libmecab.so статически связан в libpluginmecab.so, который находится в каталоге плагинов MySQL. mecab-ipadic включён в двоичные файлы MySQL и находится в MYSQL_HOME\lib\mecab.

Вы можете установить mecab и mecab-ipadic, используя утилиту управления пакетами (на Fedora, Debian и Ubuntu), или вы можете скомпилировать mecab и mecab-ipadic из исходного кода. Информацию об установке mecab и mecab-ipadic с помощью утилиты управления пакетами см. в разделе по установке MeCab из двоичного дистрибутива (необязательно). Если вы хотите скомпилировать mecab и mecab-ipadic из исходного кода, см. раздел по сборке MeCab из исходного кода (необязательно).

В Windows libmecab.dll находится в каталоге MySQL bin. mecab-ipadic расположен в MYSQL_HOME/lib/mecab.

Для установки и настройки плагина анализатора MeCab выполните следующие действия:

Создание индекса FULLTEXT с использованием анализатора MeCab

Для создания индекса FULLTEXT с использованием анализатора MeCab укажите WITH PARSER ngram с CREATE TABLE, ALTER TABLE или CREATE INDEX.

В этом примере показано создание таблицы с индексом mecab FULLTEXT, вставка образцовых данных и просмотр разложенных токенов в таблице Информационной схемы INNODB_FT_INDEX_CACHE:

mysql> USE test;

mysql> CREATE TABLE articles (
    id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY,
    title VARCHAR(200),
    body TEXT,
    FULLTEXT (title,body) WITH PARSER mecab
    ) ENGINE=InnoDB CHARACTER SET utf8mb4;

mysql> SET NAMES utf8mb4;

mysql> INSERT INTO articles (title,body) VALUES
    ('データベース管理','このチュートリアルでは、私はどのようにデータベースを管理する方法を紹介します'),
    ('データベースアプリケーション開発','データベースアプリケーションを開発することを学ぶ');

mysql> SET GLOBAL innodb_ft_aux_table="test/articles";

mysql> SELECT * FROM INFORMATION_SCHEMA.INNODB_FT_INDEX_CACHE ORDER BY doc_id, position;

Для добавления индекса FULLTEXT в существующую таблицу можно использовать ALTER TABLE или CREATE INDEX. Например:

CREATE TABLE articles (
    id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY,
    title VARCHAR(200),
    body TEXT
    ) ENGINE=InnoDB CHARACTER SET utf8mb4;

ALTER TABLE articles ADD FULLTEXT INDEX ft_index (title,body) WITH PARSER mecab;

# Or:

CREATE FULLTEXT INDEX ft_index ON articles (title,body) WITH PARSER mecab;

Обработка пробелов в анализаторе MeCab

Парсер MeCab использует пробелы в качестве разделителей в строках запросов. Например, парсер MeCab разбивает データベース管理 на データベース и 管理.

Обработка стоп-слов парсером MeCab

По умолчанию парсер MeCab использует список стоп-слов по умолчанию, который содержит короткий список английских стоп-слов. Для списка стоп-слов, применимого к японскому языку, необходимо создать свой собственный. Информацию о создании списков стоп-слов см. в Разделе 14.9.4 «Стоп-слова полных текстов».

Поиск по терминам в парсере MeCab

При поиске в режиме естественного языка термин поиска преобразуется в объединение токенов. Например, データベース管理 преобразуется в データベース 管理.

SELECT COUNT(*) FROM articles
    WHERE MATCH(title,body) AGAINST('データベース管理' IN NATURAL LANGUAGE MODE);

При поиске в булевом режиме термин поиска преобразуется в фразу поиска. Например, データベース管理 преобразуется в データベース 管理.

SELECT COUNT(*) FROM articles
    WHERE MATCH(title,body) AGAINST('データベース管理' IN BOOLEAN MODE);

Поиск с подстановкой в парсере MeCab

Термины поиска с подстановкой не разбиваются на токены. Поиск по データベース管理* выполняется по префиксу データベース管理.

SELECT COUNT(*) FROM articles
    WHERE MATCH(title,body) AGAINST('データベース*' IN BOOLEAN MODE);

Поиск по фразам в парсере MeCab

Фразы разбиваются на токены. Например, データベース管理 разбивается на データベース 管理.

SELECT COUNT(*) FROM articles
    WHERE MATCH(title,body) AGAINST('"データベース管理"' IN BOOLEAN MODE);

Установка MeCab из бинарного дистрибутива (необязательно)

В этом разделе описывается, как установить mecab и mecab-ipadic из бинарного дистрибутива с помощью утилиты управления пакетами для данной операционной системы. Например, в Fedora можно использовать Yum для установки:

$> yum mecab-devel

В Debian или Ubuntu можно выполнить установку через APT:

$> apt-get install mecab
$> apt-get install mecab-ipadic

Установка MeCab из исходного кода (необязательно)

Если вы хотите скомпилировать mecab и mecab-ipadic из исходного кода, ниже приведены основные шаги установки. Дополнительную информацию см. в документации MeCab.