Класс StreamTokenizer

public int ttype

После вызова метода nextToken, это поле содержит тип только что прочитанного токена. Для токена из одного символа, его значение — это одиночный символ, преобразованный в целое число. Для токена строковой переменной в кавычках, его значение — символ кавычки. В противном случае, его значение — одно из следующего:

• TT_WORD указывает, что токен является словом.
• TT_NUMBER указывает, что токен является числом.
• TT_EOL указывает, что конец строки был прочитан. Поле может иметь это значение только если метод eolIsSignificant был вызван с аргументом true.
• TT_EOF указывает, что конец потока ввода достигнут.

Начальное значение этого поля — -4.

public static final int TT_EOF

Константа, указывающая, что конец потока был прочитан.

public static final int TT_EOL

Константа, указывающая, что конец строки был прочитан.

public static final int TT_NUMBER

Константа, указывающая, что токен числа был прочитан.

public static final int TT_WORD

Константа, указывающая, что токен слова был прочитан.

public String sval

Если текущий токен — токен слова, это поле содержит строку, дающую символы токена слова. Когда текущий токен — токен строковой переменной в кавычках, это поле содержит тело строки.

Текущий токен является словом, когда значение поля ttype равно TT_WORD. Текущий токен является токеном строковой переменной в кавычках, когда значение поля ttype равно символу кавычки.

Начальное значение этого поля — null.

public double nval

Если текущий токен — число, это поле содержит значение этого числа. Текущий токен является числом, когда значение поля ttype равно TT_NUMBER.

Начальное значение этого поля — 0.0.

@Deprecated public StreamTokenizer(InputStream is)

    Reader r = new BufferedReader(new InputStreamReader(is));
    StreamTokenizer st = new StreamTokenizer(r);

Создаёт токенизатор потока, который анализирует указанный входной поток. Токенизатор потока инициализируется в следующем состоянии по умолчанию:

• Все байтовые значения 'A' по 'Z', 'a' по 'z' и '\u00A0' по '\u00FF' считаются алфавитными.
• Все байтовые значения '\u0000' по '\u0020' считаются пробелами.
• '/' является символом комментария.
• Одиночная кавычка '\'' и двойная кавычка '"' являются символами кавычек для строк.
• Числа анализируются.
• Концы строк обрабатываются как пробелы, а не как отдельные токены.
• Комментарии в стиле C и C++ не распознаются.

public StreamTokenizer(Reader r)

Создаёт токенизатор, который анализирует заданный поток символов.

public void resetSyntax()

Сбрасывает таблицу синтаксиса этого токенизатора, чтобы все символы были "обычными". Смотрите метод ordinaryChar для получения дополнительной информации о том, что символ является обычным.

public void wordChars(int low, int hi)

Устанавливает, что все символы c в диапазоне low <= c <= high являются составляющими слова. Токен слова состоит из составляющей слова, за которой следуют ноль или более составляющих слова или числовых составляющих.

public void whitespaceChars(int low, int hi)

Устанавливает, что все символы c в диапазоне low <= c <= high являются пробелами. Пробельные символы служат только для разделения токенов в входном потоке.

Любые другие атрибуты символов в указанном диапазоне сбрасываются.

public void ordinaryChars(int low, int hi)

Устанавливает, что все символы c в диапазоне low <= c <= high являются "обычными" в этом токенизаторе. Смотрите метод ordinaryChar для получения дополнительной информации о том, что символ является обычным.

public void ordinaryChar(int ch)

Устанавливает, что символ аргумента является "обычным" в этом токенизаторе. Он удаляет любое специальное значение, которое символ имеет как символ комментария, составляющая слова, разделитель строки, пробел или символ числа. Когда такой символ встречается анализатором, анализатор обрабатывает его как токен с одним символом и устанавливает поле ttype в значение символа.

Превращение символа окончания строки в "обычный" может помешать счётчику строк StreamTokenizer. Метод lineno может больше не отражать наличие таких символов завершения строки в своём подсчёте строк.

public void commentChar(int ch)

Устанавливает, что символ аргумента начинает однострочный комментарий. Все символы от символа комментария до конца строки игнорируются этим токенизатором потока.

Любые другие атрибуты указанного символа сбрасываются.

public void quoteChar(int ch)

Указывает, что парные символы этого символа разделяют строковые константы в этом токенизаторе.

Когда метод nextToken встречает строковую константу, поле ttype устанавливается в разделитель строки, а поле sval устанавливается в тело строки.

Если встречается символ кавычек строки, то распознаётся строка, состоящая из всех символов после (но не включая) символа кавычек строки, до (но не включая) следующего вхождения того же самого символа кавычек строки или символа конца строки или конца файла. Обычные последовательности экранирования, такие как "\n" и "\t", распознаются и преобразуются в отдельные символы по мере разбора строки.

Все другие параметры для указанного символа сбрасываются.

public void parseNumbers()

Указывает, что числа должны быть проанализированы этим токенизатором. Таблица синтаксиса этого токенизатора модифицируется так, что каждый из двенадцати символов:

     0 1 2 3 4 5 6 7 8 9 . -
 

имеет атрибут "числовой".

Когда анализатор встречает токен слова, имеющий формат числа двойной точности с плавающей запятой, он обрабатывает токен как число, а не слово, установив поле ttype в значение TT_NUMBER и поместив числовое значение токена в поле nval.

public void eolIsSignificant(boolean flag)

Определяет, обрабатываются ли концы строк как токены. Если флаг аргумента равен true, этот токенизатор обрабатывает концы строк как токены; метод nextToken возвращает TT_EOL и также устанавливает поле ttype в это значение при чтении конца строки.

Строка — это последовательность символов, заканчивающаяся либо символом возврата каретки ('\r'), либо символом новой строки ('\n'). Кроме того, символ возврата каретки, непосредственно за которым следует символ новой строки, обрабатывается как один токен конца строки.

Если flag ложно, символы конца строки обрабатываются как пробелы и служат только для разделения токенов.

public void slashStarComments(boolean flag)

Определяет, распознаёт ли токенизатор комментарии в стиле C. Если флаг аргумента равен true, этот токенизатор распознаёт комментарии в стиле C. Весь текст между последовательными вхождениями /* и */ игнорируется.

Если флаг аргумента равен false, то комментарии в стиле C не обрабатываются специально.

public void slashSlashComments(boolean flag)

Определяет, распознаёт ли токенизатор комментарии в стиле C++. Если флаг аргумента равен true, этот токенизатор распознаёт комментарии в стиле C++. Любое вхождение двух последовательных символов косой черты ('/') обрабатывается как начало комментария, которое продолжается до конца строки.

Если флаг аргумента равен false, то комментарии в стиле C++ не обрабатываются специально.

public void lowerCaseMode(boolean fl)

Определяет, преобразуются ли токены слов в нижний регистр автоматически. Если флаг аргумента равен true, то значение в поле sval преобразуется в нижний регистр всякий раз, когда возвращается токен слова (поле ttype имеет значение TT_WORD) методом nextToken этого токенизатора.

Если флаг аргумента равен false, то поле sval не изменяется.

public int nextToken() throws IOException

Разбирает следующий токен из входного потока этого токенизатора. Тип следующего токена возвращается в поле ttype. Дополнительная информация о токенах может находиться в поле nval или поле sval этого токенизатора.

Типичные клиенты этого класса сначала настраивают таблицы синтаксиса, а затем находятся в цикле, вызывая nextToken для разбора последовательных токенов до тех пор, пока не будет возвращено TT_EOF.

public void pushBack()

Приводит к тому, что следующий вызов метода nextToken этого токенизатора вернёт текущее значение в поле ttype, а не изменит значения в полях nval или sval.

public int lineno()

Возвращает текущий номер строки.

public String toString()

Возвращает строковое представление текущего токена потока и номера строки, на котором он находится.

Точное возвращаемое значение строки не определено, хотя следующий пример может рассматриваться как типичный:

         Token['a'], line 10