Класс StreamTokenizer

public int ttype

После вызова метода nextToken это поле содержит тип только что прочитанного токена. Для токена из одного символа его значение равно коду этого символа, преобразованному в целое число. Для токена в виде строки в кавычках его значение равно символу кавычки. В противном случае оно равно одному из следующих значений:

• TT_WORD указывает, что токен является словом.
• TT_NUMBER указывает, что токен является числом.
• TT_EOL указывает, что достигнут конец строки. Это поле может иметь такое значение только в том случае, если метод eolIsSignificant был вызван с аргументом true.
• TT_EOF указывает, что достигнут конец входного потока.

Начальное значение этого поля — -4.

public static final int TT_EOF

Константа, указывающая, что достигнут конец потока.

public static final int TT_EOL

Константа, указывающая, что достигнут конец строки.

public static final int TT_NUMBER

Константа, указывающая, что прочитан токен-число.

public static final int TT_WORD

Константа, указывающая, что прочитан токен-слово.

public String sval

Если текущий токен является токеном-словом, это поле содержит строку с символами этого токена. Если текущий токен является строкой в кавычках, это поле содержит тело строки.

Текущий токен является словом, если значение поля ttype равно TT_WORD. Текущий токен является строкой в кавычках, если значение поля ttype равно символу кавычки.

Начальное значение этого поля — null.

public double nval

Если текущий токен является числом, это поле содержит его значение. Текущий токен является числом, если значение поля ttype равно TT_NUMBER.

Начальное значение этого поля — 0.0.

@Deprecated public StreamTokenizer(InputStream is)

    Reader r = new BufferedReader(new InputStreamReader(is));
    StreamTokenizer st = new StreamTokenizer(r);

Создаёт токенизатор потока, разбирающий указанный входной поток. Токенизатор потока инициализируется в следующем состоянии по умолчанию:

• Все значения байтов от 'A' до 'Z', от 'a' до 'z' и от '\u00A0' до '\u00FF' считаются буквенными символами.
• Все значения байтов от '\u0000' до '\u0020' считаются пробельными символами.
• '/' является символом комментария.
• Одинарная кавычка '\'' и двойная кавычка '"' являются символами кавычек строки.
• Числа разбираются.
• Окончания строк считаются пробельными символами, а не отдельными токенами.
• Комментарии в стиле C и C++ не распознаются.

public StreamTokenizer(Reader r)

Создаёт токенизатор для разбора заданного потока символов.

public void resetSyntax()

Сбрасывает таблицу синтаксиса этого токенизатора, делая все символы «обычными». Дополнительные сведения о том, что означает «обычный» символ, см. в описании метода ordinaryChar.

public void wordChars(int low, int hi)

Указывает, что все символы c в диапазоне low <= c <= high являются составляющими слов. Токен-слово состоит из составляющего слова символа, за которым следует ноль или более составляющих слова или числа символов.

public void whitespaceChars(int low, int hi)

Указывает, что все символы c в диапазоне low <= c <= high являются пробельными. Пробельные символы служат только для разделения токенов во входном потоке.

Все остальные атрибуты символов в указанном диапазоне сбрасываются.

public void ordinaryChars(int low, int hi)

Указывает, что все символы c в диапазоне low <= c <= high являются «обычными» в этом токенизаторе. Дополнительные сведения о том, что означает «обычный» символ, см. в описании метода ordinaryChar.

public void ordinaryChar(int ch)

Указывает, что символ-аргумент является «обычным» в этом токенизаторе. При этом символ теряет любое особое значение, которое он имел как символ комментария, составляющий слова, разделитель строки, пробельный или числовой символ. Когда синтаксический анализатор встречает такой символ, он рассматривает его как односимвольный токен и присваивает полю ttype значение символа.

Если сделать символ окончания строки «обычным», это может помешать StreamTokenizer подсчитывать строки. Метод lineno может перестать учитывать наличие таких символов окончания строки при подсчёте строк.

public void commentChar(int ch)

Указывает, что символ-аргумент начинает однострочный комментарий. Все символы от символа комментария до конца строки игнорируются этим токенизатором потока.

Все остальные атрибуты указанного символа сбрасываются.

public void quoteChar(int ch)

Указывает, что соответствующие парные символы этого типа ограничивают строковые константы в данном токенизаторе.

Когда метод nextToken встречает строковую константу, полю ttype присваивается символ-разделитель строки, а полю sval — тело строки.

При встрече символа кавычки распознаётся строка, состоящая из всех символов после (но не включая) символа кавычки до следующего вхождения того же символа кавычки, символа окончания строки или конца файла. Обычные escape-последовательности, такие как "\n" и "\t", распознаются и преобразуются в отдельные символы при разборе строки.

Все остальные атрибуты указанного символа сбрасываются.

public void parseNumbers()

Указывает, что этот токенизатор должен разбирать числа. Таблица синтаксиса токенизатора изменяется так, что каждому из следующих двенадцати символов:

    0 1 2 3 4 5 6 7 8 9 . -

присваивается атрибут «числовой».

Когда синтаксический анализатор встречает токен-слово, имеющий формат числа с плавающей точкой двойной точности, он считает этот токен числом, а не словом: присваивает полю ttype значение TT_NUMBER и помещает числовое значение токена в поле nval.

public void eolIsSignificant(boolean flag)

Определяет, считаются ли окончания строк токенами. Если аргумент-флаг имеет значение true, этот токенизатор считает окончания строк токенами; метод nextToken возвращает TT_EOL и также присваивает полю ttype это значение при чтении окончания строки.

Строка — это последовательность символов, заканчивающаяся символом возврата каретки ('\r') или символом новой строки ('\n'). Кроме того, символ возврата каретки, за которым сразу следует символ новой строки, считается одним токеном окончания строки.

Если flag имеет значение false, символы окончания строки считаются пробельными и служат только для разделения токенов.

public void slashStarComments(boolean flag)

Определяет, распознаёт ли токенизатор комментарии в стиле C. Если аргумент-флаг имеет значение true, этот токенизатор потока распознаёт комментарии в стиле C. Весь текст между последовательными вхождениями /* и */ отбрасывается.

Если аргумент-флаг имеет значение false, комментарии в стиле C не обрабатываются особым образом.

public void slashSlashComments(boolean flag)

Определяет, распознаёт ли токенизатор комментарии в стиле C++. Если аргумент-флаг имеет значение true, этот токенизатор потока распознаёт комментарии в стиле C++. Любое вхождение двух косых черт подряд ('/') считается началом комментария, который продолжается до конца строки.

Если аргумент-флаг имеет значение false, комментарии в стиле C++ не обрабатываются особым образом.

public void lowerCaseMode(boolean fl)

Определяет, преобразуются ли токены-слова автоматически в нижний регистр. Если аргумент-флаг имеет значение true, значение поля sval преобразуется в нижний регистр при каждом возврате токена-слова (поле ttype имеет значение TT_WORD) методом nextToken этого токенизатора.

Если аргумент-флаг имеет значение false, поле sval не изменяется.

public int nextToken() throws IOException

Разбирает следующий токен из входного потока этого токенизатора. Тип следующего токена возвращается в поле ttype. Дополнительные сведения о токене могут содержаться в поле nval или sval этого токенизатора.

Типичные клиенты этого класса сначала настраивают таблицы синтаксиса, а затем в цикле вызывают nextToken для разбора последовательных токенов, пока не будет возвращено TT_EOF.

public void pushBack()

Вызывает возврат текущего значения поля ttype при следующем вызове метода nextToken этого токенизатора и не изменяет значение поля nval или sval.

public int lineno()

Возвращает текущий номер строки.

public String toString()

Возвращает строковое представление текущего токена потока и номер строки, в которой он встречается.

Точное строковое представление не определено, однако следующий пример можно считать типичным:

        Token['a'], line 10