Структура анализатора

Фильтр символов получает исходный текст в виде потока символов и может преобразовывать поток, добавляя, удаляя или изменяя символы. Например, фильтр символов можно использовать для преобразования индо-арабских цифр (٠‎١٢٣٤٥٦٧٨‎٩‎) в их арабско-латинские эквиваленты (0123456789) или для удаления HTML-элементов, таких как <b> из потока.

Анализатор может иметь ноль или более фильтров символов, которые применяются в порядке следования.

Разделитель токенов получает поток символов, разбивает его на отдельные токены (обычно отдельные слова) и выводит поток токенов. Например, whitespace разделитель токенов разбивает текст на токены всякий раз, когда встречается пробел. Он преобразует текст "Quick brown fox!" в термины [Quick, brown, fox!].

Разделитель токенов также отвечает за запись порядка или положения каждого термина и начальных и конечных смещений символов исходного слова, которое представляет этот термин.

Анализатор должен иметь ровно один разделитель токенов.

Фильтр токенов получает поток токенов и может добавлять, удалять или изменять токены. Например, lowercase фильтр токенов преобразует все токены в нижний регистр, stop фильтр токенов удаляет распространенные слова (стоп-слова), такие как the из потока токенов, а synonym фильтр токенов вводит синонимы в поток токенов.

Фильтры токенов не должны изменять положение или смещения символов каждого токена.

Анализатор может иметь ноль или более фильтров токенов, которые применяются в порядке следования.