Класс StreamTokenizer

public int ttype

После вызова метода nextToken, это поле содержит тип только что прочитанного токена. Для токена из одного символа его значение — этот символ, преобразованный в целое число. Для токена в кавычках его значение — символ кавычек. В противном случае его значение — одно из следующих:

• TT_WORD указывает, что токен — это слово.
• TT_NUMBER указывает, что токен — это число.
• TT_EOL указывает, что прочитан конец строки. Это значение поле может иметь только если метод eolIsSignificant был вызван с аргументом true.
• TT_EOF указывает, что достигнут конец потока ввода.

Начальное значение этого поля равно -4.

public static final int TT_EOF

Константа, указывающая, что достигнут конец потока.

public static final int TT_EOL

Константа, указывающая, что достигнут конец строки.

public static final int TT_NUMBER

Константа, указывающая, что прочитан токен числа.

public static final int TT_WORD

Константа, указывающая, что прочитан токен слова.

public String sval

Если текущий токен — токен слова, это поле содержит строку с символами токена слова. Когда текущий токен — токен строки в кавычках, это поле содержит содержимое строки.

Текущий токен — слово, когда значение поля ttype равно TT_WORD. Текущий токен — строка в кавычках, когда значение поля ttype — символ кавычки.

Начальное значение этого поля — null.

public double nval

Если текущий токен — число, это поле содержит значение этого числа. Текущий токен — число, когда значение поля ttype равно TT_NUMBER.

Начальное значение этого поля — 0.0.

@Deprecated public StreamTokenizer(InputStream is)

Создаёт анализатор потока, который разбирает указанный поток ввода. Анализатор потока инициализируется следующими значениями по умолчанию:

• Все байтовые значения 'A' по 'Z', 'a' по 'z', и '\u00A0' по '\u00FF' считаются буквенными.
• Все байтовые значения '\u0000' по '\u0020' считаются пробелами.
• '/' является символом комментария.
• Одинарная кавычка '\'' и двойная кавычка '"' являются символами кавычек для строк.
• Числа разбираются.
• Концы строк обрабатываются как пробелы, а не как отдельные токены.
• Комментарии в стиле C и C++ не распознаются.

public StreamTokenizer(Reader r)

Создаёт анализатор, который разбирает заданный поток символов.

public void resetSyntax()

Сбрасывает таблицу синтаксиса этого анализатора, так что все символы являются «обычными». Смотрите метод ordinaryChar для получения дополнительной информации о символе, являющемся обычным.

public void wordChars(int low, int hi)

Устанавливает, что все символы c в диапазоне low <= c <= high являются составляющими слова. Токен слова состоит из составляющей слова, за которой следуют ноль или более составляющих слова или составляющих числа.

public void whitespaceChars(int low, int hi)

Устанавливает, что все символы c в диапазоне low <= c <= high являются символами пробелов. Символы пробелов служат только для разделения токенов в потоке ввода.

Любые другие атрибуты символов в указанном диапазоне сбрасываются.

public void ordinaryChars(int low, int hi)

Устанавливает, что все символы c в диапазоне low <= c <= high являются «обычными» в этом анализаторе. Смотрите метод ordinaryChar для получения дополнительной информации о символе, являющемся обычным.

public void ordinaryChar(int ch)

Устанавливает, что символ-аргумент является «обычным» в этом анализаторе. Он удаляет любое специальное значение, которое этот символ имеет в качестве символа комментария, составляющей слова, разделителя строк, пробела или символа числа. Когда анализатор встречает такой символ, он обрабатывает его как токен из одного символа и устанавливает поле ttype в значение символа.

Превращение символа перевода строки в «обычный» может помешать способности StreamTokenizer подсчитывать строки. Метод lineno больше не будет отражать наличие таких символов перевода строки в своём подсчёте строк.

public void commentChar(int ch)

Устанавливает, что символ-аргумент начинает однострочный комментарий. Все символы от символа комментария до конца строки игнорируются этим анализатором потока.

Любые другие атрибуты указанного символа сбрасываются.

public void quoteChar(int ch)

Устанавливает, что парные символы этого аргумента ограничивают строковые константы в этом анализаторе.

Когда метод nextToken встречает строковую константу, поле ttype устанавливается в разделитель строки, а поле sval устанавливается в тело строки.

Если встречен символ кавычки, то распознаётся строка, состоящая из всех символов после (но не включая) символа кавычки, до (но не включая) следующей пары этого же символа кавычки или символа конца строки или конца файла. Обычные escape-последовательности, такие как "\n" и "\t", распознаются и преобразуются в отдельные символы по мере разбора строки.

Любые другие атрибуты указанного символа сбрасываются.

public void parseNumbers()

Указывает, что числа должны быть проанализированы этим токенизатором. Таблица синтаксиса этого токенизатора модифицируется таким образом, что каждый из двенадцати символов:

      0 1 2 3 4 5 6 7 8 9 . -
 

имеет атрибут "числовой".

Когда анализатор встречает токен слова, имеющий формат числа двойной точности с плавающей запятой, он обрабатывает токен как число, а не как слово, установив поле ttype в значение TT_NUMBER и поместив числовое значение токена в поле nval.

public void eolIsSignificant(boolean flag)

Определяет, обрабатываются ли концы строк как токены. Если флаг-аргумент имеет значение true, этот токенизатор обрабатывает концы строк как токены; метод nextToken возвращает TT_EOL и также устанавливает поле ttype в это значение при чтении конца строки.

Строка — это последовательность символов, заканчивающаяся символом возврата каретки ('\r') или символом новой строки ('\n'). Кроме того, символ возврата каретки, непосредственно за которым следует символ новой строки, обрабатывается как один токен конца строки.

Если flag имеет значение false, символы конца строки обрабатываются как пробелы и служат только для разделения токенов.

public void slashStarComments(boolean flag)

Определяет, распознаёт ли токенизатор комментарии в стиле C. Если флаг-аргумент равен true, этот токенизатор потока распознаёт комментарии в стиле C. Весь текст между последовательными вхождениями /* и */ отбрасывается.

Если флаг-аргумент равен false, комментарии в стиле C не обрабатываются специально.

public void slashSlashComments(boolean flag)

Определяет, распознает ли токенизатор комментарии в стиле C++. Если флаг-аргумент равен true, этот токенизатор потока распознаёт комментарии в стиле C++. Любое вхождение двух последовательных символов слэша ('/') обрабатывается как начало комментария, который продолжается до конца строки.

Если флаг-аргумент равен false, комментарии в стиле C++ не обрабатываются специально.

public void lowerCaseMode(boolean fl)

Определяет, преобразуются ли автоматически токены слов в нижний регистр. Если флаг-аргумент равен true, значение в поле sval преобразуется в нижний регистр всякий раз, когда возвращается токен слова (поле ttype имеет значение TT_WORD методом nextToken этого токенизатора).

Если флаг-аргумент равен false, поле sval не изменяется.

public int nextToken() throws IOException

Анализирует следующий токен из входного потока этого токенизатора. Тип следующего токена возвращается в поле ttype. Дополнительная информация о токене может быть в поле nval или поле sval этого токенизатора.

Типичные клиенты этого класса сначала настраивают таблицы синтаксиса, а затем работают в цикле, вызывая nextToken для анализа последовательных токенов до тех пор, пока не будет возвращено TT_EOF.

public void pushBack()

Приводит к тому, что следующий вызов метода nextToken этого токенизатора вернёт текущее значение в поле ttype, и не будет изменять значение в полях nval или sval.

public int lineno()

Возвращает текущий номер строки.

public String toString()

Возвращает строковое представление текущего токена потока и номера строки, на которой он появляется.

Точная возвращаемая строка не определена, хотя следующий пример можно считать типичным:

Token['a'], line 10