Структура анализатора

Фильтр символов получает исходный текст в виде потока символов и может преобразовывать поток, добавляя, удаляя или изменяя символы. Например, фильтр символов может использоваться для преобразования индусско-арабских цифр (٠‎١٢٣٤٥٦٧٨‎٩‎) в их арабско-латинские эквиваленты (0123456789) или для удаления HTML-элементов, таких как <b> из потока.

Анализатор может иметь ноль или более фильтров символов, которые применяются в порядке их перечисления.

Разделитель токенов получает поток символов, разбивает его на отдельные токены (обычно отдельные слова) и выводит поток токенов. Например, разделитель токенов whitespace разбивает текст на токены всякий раз, когда встречается пробел. Он преобразует текст "Quick brown fox!" в термины [Quick, brown, fox!].

Разделитель токенов также отвечает за запись порядка или позиции каждого термина и начальных и конечных символьных смещений исходного слова, которое представляет термин.

Анализатор должен иметь ровно один разделитель токенов.

Фильтр токенов получает поток токенов и может добавлять, удалять или изменять токены. Например, фильтр токенов lowercase преобразует все токены в нижний регистр, фильтр токенов stop удаляет общие слова (стоп-слова), такие как the из потока токенов, а фильтр токенов synonym вводит синонимы в поток токенов.

Фильтры токенов не должны изменять позицию или символьные смещения каждого токена.

Анализатор может иметь ноль или более фильтров токенов, которые применяются в порядке их перечисления.