Класс StreamTokenizer

public int ttype

После вызова метода nextToken это поле содержит тип только что считанного токена. Для токена из одного символа его значение равно этому символу, преобразованному в целое число. Для токена-строки в кавычках его значение равно символу кавычки. В остальных случаях оно равно одному из следующих значений:

• TT_WORD указывает, что токен является словом.
• TT_NUMBER указывает, что токен является числом.
• TT_EOL указывает, что достигнут конец строки. Поле может иметь это значение только в том случае, если метод eolIsSignificant был вызван с аргументом true.
• TT_EOF указывает, что достигнут конец входного потока.

Начальное значение этого поля — -4.

public static final int TT_EOF

Константа, указывающая, что достигнут конец потока.

public static final int TT_EOL

Константа, указывающая, что достигнут конец строки.

public static final int TT_NUMBER

Константа, указывающая, что считан токен-число.

public static final int TT_WORD

Константа, указывающая, что считан токен-слово.

public String sval

Если текущий токен является словом, это поле содержит строку с символами этого токена-слова. Если текущий токен является строкой в кавычках, это поле содержит тело строки.

Текущий токен является словом, если значение поля ttype равно TT_WORD. Текущий токен является строкой в кавычках, если значение поля ttype равно символу кавычки.

Начальное значение этого поля — null.

public double nval

Если текущий токен является числом, это поле содержит значение этого числа. Текущий токен является числом, если значение поля ttype равно TT_NUMBER.

Начальное значение этого поля — 0.0.

@Deprecated public StreamTokenizer(InputStream is)

    Reader r = new BufferedReader(new InputStreamReader(is));
    StreamTokenizer st = new StreamTokenizer(r);

Создает токенизатор потока для разбора указанного входного потока. Токенизатор потока инициализируется в следующем состоянии по умолчанию:

• Все значения байтов от 'A' до 'Z', от 'a' до 'z' и от '\u00A0' до '\u00FF' считаются буквенными.
• Все значения байтов от '\u0000' до '\u0020' считаются пробельными символами.
• '/' является символом комментария.
• Одинарная кавычка '\'' и двойная кавычка '"' являются символами кавычек строки.
• Числа разбираются.
• Концы строк считаются пробельными символами, а не отдельными токенами.
• Комментарии в стиле C и C++ не распознаются.

public StreamTokenizer(Reader r)

Создает токенизатор для разбора указанного потока символов.

public void resetSyntax()

Сбрасывает синтаксическую таблицу этого токенизатора, делая все символы «обычными». Дополнительные сведения о том, что означает «обычный» символ, см. в описании метода ordinaryChar.

public void wordChars(int low, int hi)

Указывает, что все символы c в диапазоне low <= c <= high являются составляющими слова. Токен-слово состоит из составляющего слова, за которым следует ноль или более составляющих слова или числа.

public void whitespaceChars(int low, int hi)

Указывает, что все символы c в диапазоне low <= c <= high являются пробельными. Пробельные символы используются только для разделения токенов во входном потоке.

Все остальные настройки атрибутов для символов в указанном диапазоне сбрасываются.

public void ordinaryChars(int low, int hi)

Указывает, что все символы c в диапазоне low <= c <= high являются «обычными» для этого токенизатора. Дополнительные сведения о том, что означает «обычный» символ, см. в описании метода ordinaryChar.

public void ordinaryChar(int ch)

Указывает, что символ-аргумент является «обычным» для этого токенизатора. При этом устраняется любое особое значение символа как символа комментария, составляющей слова, разделителя строки, пробельного или цифрового символа. Когда анализатор встречает такой символ, он обрабатывает его как односимвольный токен и присваивает полю ttype значение этого символа.

Придание символу конца строки статуса «обычного» может помешать объекту StreamTokenizer подсчитывать строки. Метод lineno может перестать учитывать такие символы конца строки при подсчете.

public void commentChar(int ch)

Указывает, что символ-аргумент начинает однострочный комментарий. Все символы от символа комментария до конца строки игнорируются этим токенизатором потока.

Все остальные настройки атрибутов для указанного символа сбрасываются.

public void quoteChar(int ch)

Указывает, что парные символы этого типа ограничивают строковые константы в данном токенизаторе.

Когда метод nextToken встречает строковую константу, поле ttype получает значение символа-разделителя строки, а поле sval — значение тела строки.

Если встречается символ кавычки строки, распознается строка, состоящая из всех символов после (но не включая) символ кавычки и до следующего вхождения того же символа кавычки, символа конца строки или конца файла. При разборе строки распознаются и преобразуются в одиночные символы обычные escape-последовательности, такие как "\n" и "\t".

Все остальные настройки атрибутов для указанного символа сбрасываются.

public void parseNumbers()

Указывает, что этот токенизатор должен разбирать числа. Синтаксическая таблица токенизатора изменяется таким образом, что каждому из следующих двенадцати символов:

    0 1 2 3 4 5 6 7 8 9 . -

назначается атрибут «цифровой».

Когда анализатор встречает токен-слово, соответствующий формату числа с плавающей точкой двойной точности, он рассматривает этот токен как число, а не как слово: присваивает полю ttype значение TT_NUMBER и помещает числовое значение токена в поле nval.

public void eolIsSignificant(boolean flag)

Определяет, считаются ли концы строк токенами. Если аргумент-флаг равен true, этот токенизатор рассматривает концы строк как токены; метод nextToken возвращает TT_EOL и также присваивает полю ttype это значение при считывании конца строки.

Строка представляет собой последовательность символов, заканчивающуюся символом возврата каретки ('\r') или символом новой строки ('\n'). Кроме того, символ возврата каретки, за которым непосредственно следует символ новой строки, рассматривается как единый токен конца строки.

Если flag равно false, символы конца строки считаются пробельными и служат только для разделения токенов.

public void slashStarComments(boolean flag)

Определяет, распознает ли токенизатор комментарии в стиле C. Если аргумент-флаг равен true, этот токенизатор потока распознает комментарии в стиле C. Весь текст между последовательными вхождениями /* и */ отбрасывается.

Если аргумент-флаг равен false, комментарии в стиле C не обрабатываются особым образом.

public void slashSlashComments(boolean flag)

Определяет, распознает ли токенизатор комментарии в стиле C++. Если аргумент-флаг равен true, этот токенизатор потока распознает комментарии в стиле C++. Любое вхождение двух последовательных символов косой черты ('/') считается началом комментария, продолжающегося до конца строки.

Если аргумент-флаг равен false, комментарии в стиле C++ не обрабатываются особым образом.

public void lowerCaseMode(boolean fl)

Определяет, преобразуются ли токены-слова автоматически в нижний регистр. Если аргумент-флаг равен true, значение поля sval преобразуется в нижний регистр всякий раз, когда метод nextToken этого токенизатора возвращает токен-слово (поле ttype имеет значение TT_WORD).

Если аргумент-флаг равен false, поле sval не изменяется.

public int nextToken() throws IOException

Разбирает следующий токен из входного потока этого токенизатора. Тип следующего токена возвращается в поле ttype. Дополнительные сведения о токене могут содержаться в поле nval или sval этого токенизатора.

Обычно клиенты этого класса сначала настраивают синтаксические таблицы, а затем в цикле вызывают nextToken для разбора последовательных токенов до возвращения TT_EOF.

public void pushBack()

При следующем вызове метода nextToken этого токенизатора возвращается текущее значение поля ttype, а значения полей nval и sval не изменяются.

public int lineno()

Возвращает текущий номер строки.

public String toString()

Возвращает строковое представление текущего токена потока и номер строки, в которой он находится.

Точная строка, возвращаемая методом, не определена, однако следующий пример можно считать типичным:

        Token['a'], line 10