Встроенный анализатор полнотекстового поиска MySQL использует пробелы между словами в качестве разделителей, чтобы определить, где начинаются и заканчиваются слова, что является ограничением при работе с иероглифическими языками, не использующими разделители слов. Для решения этой проблемы в MySQL предоставлен плагин анализатора полнотекстового поиска MeCab. Плагин анализатора полнотекстового поиска MeCab поддерживается для использования с InnoDB и MyISAM.

Плагин анализатора полнотекстового поиска MeCab — это плагин анализатора полнотекстового поиска для японского языка, который разбивает последовательность текста на осмысленные слова. Например, MeCab разбивает “データベース管理” (“Управление базами данных”) на “データベース” (“База данных”) и “管理” (“Управление”). Для сравнения, анализатор полнотекстового поиска ngram разбивает текст на последовательные группы из n символов, где n представляет число от 1 до 10.

Помимо разбиения текста на осмысленные слова, индексы MeCab обычно меньше, чем индексы ngram, а полнотекстовые поиски MeCab, как правило, быстрее. Один из недостатков заключается в том, что для разбиения документов может потребоваться больше времени, чем для анализатора полнотекстового поиска ngram.

Синтаксис полнотекстового поиска, описанный в разделе 12.9, «Функции полнотекстового поиска», применим к плагину анализатора MeCab. Различия в поведении анализа описаны в этом разделе. Также применимы параметры конфигурации, связанные с полнотекстовым поиском.

Дополнительную информацию об анализаторе MeCab см. на проекте MeCab: Еще один анализатор морфологии и части речи на Github.

Установка плагина анализатора MeCab

Для плагина анализатора MeCab требуется mecab и mecab-ipadic.

На поддерживаемых платформах Fedora, Debian и Ubuntu (кроме Ubuntu 12.04, где версия системы mecab слишком старая), MySQL динамически подключается к системе mecab установке, если она установлена по умолчанию. На других поддерживаемых Unix-подобных платформах libmecab.so статически связан с libpluginmecab.so, который находится в каталоге плагинов MySQL. mecab-ipadic включен в двоичные файлы MySQL и находится в MYSQL_HOME\lib\mecab.

Вы можете установить mecab и mecab-ipadic с помощью утилиты управления пакетами (на Fedora, Debian и Ubuntu), или вы можете скомпилировать mecab и mecab-ipadic из исходного кода. Дополнительную информацию об установке mecab и mecab-ipadic с помощью утилиты управления пакетами см. в разделе «Установка MeCab из двоичного дистрибутива (необязательно)». Если вы хотите скомпилировать mecab и mecab-ipadic из исходного кода, см. раздел «Установка MeCab из исходного кода (необязательно)».

В Windows libmecab.dll находится в каталоге MySQL bin. mecab-ipadic находится в MYSQL_HOME/lib/mecab.

Для установки и настройки плагина анализатора MeCab выполните следующие шаги:

Создание индекса FULLTEXT с использованием анализатора MeCab

Чтобы создать индекс FULLTEXT, использующий анализатор mecab, укажите WITH PARSER ngram с помощью CREATE TABLE, ALTER TABLE или CREATE INDEX.

В этом примере демонстрируется создание таблицы с индексом mecab FULLTEXT, вставка образцов данных и просмотр разложенных токенов в таблице схемы информации INNODB_FT_INDEX_CACHE:

mysql> USE test;

mysql> CREATE TABLE articles (
      id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY,
      title VARCHAR(200),
      body TEXT,
      FULLTEXT (title,body) WITH PARSER mecab
    ) ENGINE=InnoDB CHARACTER SET utf8;

mysql> SET NAMES utf8;

mysql> INSERT INTO articles (title,body) VALUES
    ('データベース管理','このチュートリアルでは、私はどのようにデータベースを管理する方法を紹介します'),
    ('データベースアプリケーション開発','データベースアプリケーションを開発することを学ぶ');

mysql> SET GLOBAL innodb_ft_aux_table="test/articles";

mysql> SELECT * FROM INFORMATION_SCHEMA.INNODB_FT_INDEX_CACHE ORDER BY doc_id, position;

Чтобы добавить индекс FULLTEXT в существующую таблицу, можно использовать ALTER TABLE или CREATE INDEX. Например:

CREATE TABLE articles (
      id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY,
      title VARCHAR(200),
      body TEXT
     ) ENGINE=InnoDB CHARACTER SET utf8;

ALTER TABLE articles ADD FULLTEXT INDEX ft_index (title,body) WITH PARSER mecab;

# Or:

CREATE FULLTEXT INDEX ft_index ON articles (title,body) WITH PARSER mecab;

Обработка пробелов анализатором MeCab

Парсер MeCab использует пробелы в качестве разделителей в строках запроса. Например, парсер MeCab разбивает データベース管理 на データベース и 管理.

Обработка стоп-слов парсером MeCab

По умолчанию парсер MeCab использует стандартный список стоп-слов, который содержит короткий список английских стоп-слов. Для списка стоп-слов, применимого к японскому языку, необходимо создать свой собственный. Сведения о создании списков стоп-слов см. в разделе 12.9.4, «Full-Text Stopwords».

Поиск по терминам парсера MeCab

При поиске в режиме естественного языка поисковый термин преобразуется в объединение токенов. Например, データベース管理 преобразуется в データベース 管理.

SELECT COUNT(*) FROM articles WHERE MATCH(title,body) AGAINST('データベース管理' IN NATURAL LANGUAGE MODE);

При поиске в булевом режиме поисковый термин преобразуется в поисковую фразу. Например, データベース管理 преобразуется в データベース 管理.

SELECT COUNT(*) FROM articles WHERE MATCH(title,body) AGAINST('データベース管理' IN BOOLEAN MODE);

Поиск с подстановкой парсера MeCab

Термины поиска с подстановкой не разбиваются на токены. Поиск по データベース管理* выполняется по префиксу データベース管理.

SELECT COUNT(*) FROM articles WHERE MATCH(title,body) AGAINST('データベース*' IN BOOLEAN MODE);

Поиск по фразам парсера MeCab

Фразы разбиваются на токены. Например, データベース管理 разбивается на データベース 管理.

SELECT COUNT(*) FROM articles WHERE MATCH(title,body) AGAINST('"データベース管理"' IN BOOLEAN MODE);

Установка MeCab из бинарного дистрибутива (необязательно)

В этом разделе описывается, как установить mecab и mecab-ipadic из бинарного дистрибутива с помощью утилиты управления пакетами нативной платформы. Например, в Fedora можно использовать Yum для установки:

yum mecab-devel

В Debian или Ubuntu можно выполнить установку с помощью APT:

apt-get install mecab
apt-get install mecab-ipadic

Установка MeCab из исходного кода (необязательно)

Если вы хотите скомпилировать mecab и mecab-ipadic из исходного кода, ниже приведены основные шаги установки. Для получения дополнительной информации обратитесь к документации MeCab.