Класс StreamTokenizer

public int ttype

После вызова метода nextToken, это поле содержит тип только что прочитанного токена. Для токена с одним символом его значением является сам символ, преобразованный в целое число. Для токена строкой в кавычках его значением является символ кавычек. В противном случае его значение — одно из следующих:

• TT_WORD указывает, что токен является словом.
• TT_NUMBER указывает, что токен является числом.
• TT_EOL указывает, что был прочитан конец строки. Это значение поле может иметь только если метод eolIsSignificant был вызван с аргументом true.
• TT_EOF указывает, что достигнут конец потока ввода.

Начальное значение этого поля равно -4.

public static final int TT_EOF

Константа, указывающая, что достигнут конец потока.

public static final int TT_EOL

Константа, указывающая, что достигнут конец строки.

public static final int TT_NUMBER

Константа, указывающая, что прочитан токен типа число.

public static final int TT_WORD

Константа, указывающая, что прочитан токен типа слово.

public String sval

Если текущий токен является словом, это поле содержит строку, представляющую символы слова. Если текущий токен — строка в кавычках, это поле содержит содержимое строки.

Текущий токен является словом, когда значение поля ttype равно TT_WORD. Текущий токен является строкой в кавычках, когда значение поля ttype является символом кавычек.

Начальное значение этого поля — null.

public double nval

Если текущий токен является числом, это поле содержит значение этого числа. Текущий токен является числом, когда значение поля ttype равно TT_NUMBER.

Начальное значение этого поля — 0.0.

@Deprecated public StreamTokenizer(InputStream is)

    Reader r = new BufferedReader(new InputStreamReader(is));
    StreamTokenizer st = new StreamTokenizer(r);

Создаёт токенизатор потока, анализирующий указанный поток ввода. Токенизатор инициализируется следующими значениями по умолчанию:

• Все байтовые значения от 'A' до 'Z', от 'a' до 'z' и от '\u00A0' до '\u00FF' считаются алфавитными.
• Все байтовые значения от '\u0000' до '\u0020' считаются пробелами.
• '/' является символом комментария.
• Одинарная кавычка '\'' и двойная кавычка '"' — символы кавычек строки.
• Числа анализируются.
• Концы строк обрабатываются как пробелы, а не как отдельные токены.
• Комментарии в стиле C и C++ не распознаются.

public StreamTokenizer(Reader r)

Создаёт токенизатор, анализирующий заданный поток символов.

public void resetSyntax()

Сбрасывает таблицу синтаксиса этого токенизатора, чтобы все символы стали "обычными". См. метод ordinaryChar для получения дополнительной информации о том, что означает "обычный" символ.

public void wordChars(int low, int hi)

Указывает, что все символы c в диапазоне low <= c <= high являются составляющими слова. Токен слова состоит из составляющих слова, за которыми следуют ноль или более составляющих слова или составляющих числа.

public void whitespaceChars(int low, int hi)

Указывает, что все символы c в диапазоне low <= c <= high являются символами пробела. Символы пробела служат только для разделения токенов в потоке ввода.

Любые другие настройки атрибутов для символов в указанном диапазоне очищаются.

public void ordinaryChars(int low, int hi)

Указывает, что все символы c в диапазоне low <= c <= high являются "обычными" в этом токенизаторе. См. метод ordinaryChar для получения дополнительной информации о том, что означает "обычный" символ.

public void ordinaryChar(int ch)

Указывает, что символ-аргумент является "обычным" в этом токенизаторе. Он снимает любое специальное значение символа как символа комментария, компонента слова, разделителя строки, символа пробела или символа числа. При обнаружении такого символа парсер обрабатывает его как токен с одним символом и устанавливает поле ttype в значение символа.

Преобразование символа окончания строки в "обычный" может повлиять на способность StreamTokenizer подсчитывать строки. Метод lineno может больше не отражать наличие таких символов окончания строки в своём подсчёте строк.

public void commentChar(int ch)

Указание, что символ-аргумент начинает однострочный комментарий. Все символы от символа комментария до конца строки игнорируются этим токенизатором.

Любые другие настройки атрибутов для указанного символа очищаются.

public void quoteChar(int ch)

Указывает, что парные символы этого аргумента ограничивают строковые константы в данном токенизаторе.

Когда метод nextToken обнаруживает строковую константу, поле ttype устанавливается в разделитель строки, а поле sval устанавливается в содержимое строки.

При обнаружении символа кавычки строки, распознаётся строка, состоящая из всех символов после (но не включая) символа кавычки, до (но не включая) следующего появления этого же символа кавычки строки, символа окончания строки или конца файла. Обычные escape-последовательности, такие как "\n" и "\t", распознаются и преобразуются в отдельные символы при анализе строки.

Любые другие настройки атрибутов для указанного символа очищаются.

public void parseNumbers()

Указывает, что числа должны быть распарсены этим токенайзером. Таблица синтаксиса этого токенайзера изменяется таким образом, что каждый из двенадцати символов:

     0 1 2 3 4 5 6 7 8 9 . -
 

имеет атрибут "numeric".

Когда парсер встречает токен слова, имеющий формат числа двойной точности с плавающей запятой, он обрабатывает токен как число, а не слово, установив поле ttype в значение TT_NUMBER и поместив числовое значение токена в поле nval.

public void eolIsSignificant(boolean flag)

Определяет, обрабатываются ли концы строк как токены. Если флаг аргумента равен true, этот токенайзер обрабатывает концы строк как токены; метод nextToken возвращает TT_EOL и также устанавливает поле ttype в это значение при чтении конца строки.

Строка — это последовательность символов, заканчивающаяся либо символом возврата каретки ('\r'), либо символом новой строки ('\n'). Кроме того, символ возврата каретки, непосредственно за которым следует символ новой строки, обрабатывается как один токен конца строки.

Если flag равно false, символы конца строки обрабатываются как пробелы и служат только для разделения токенов.

public void slashStarComments(boolean flag)

Определяет, распознаёт ли токенайзер комментарии в стиле C. Если флаг аргумента равен true, этот токенайзер распознаёт комментарии в стиле C. Весь текст между последовательными вхождениями /* и */ отбрасывается.

Если флаг аргумента равен false, то комментарии в стиле C не обрабатываются особым образом.

public void slashSlashComments(boolean flag)

Определяет, распознаёт ли токенайзер комментарии в стиле C++. Если флаг аргумента равен true, этот токенайзер распознаёт комментарии в стиле C++. Любое вхождение двух последовательных косых черт ('/') обрабатывается как начало комментария, которое продолжается до конца строки.

Если флаг аргумента равен false, то комментарии в стиле C++ не обрабатываются особым образом.

public void lowerCaseMode(boolean fl)

Определяет, преобразуются ли автоматически токены слов в нижний регистр. Если флаг аргумента равен true, то значение в поле sval преобразуется в нижний регистр всякий раз, когда возвращается токен слова (поле ttype имеет значение TT_WORD методом nextToken этого токенайзера.

Если флаг аргумента равен false, то поле sval не изменяется.

public int nextToken() throws IOException

Парсит следующий токен из входного потока этого токенайзера. Тип следующего токена возвращается в поле ttype. Дополнительная информация о токене может содержаться в поле nval или sval этого токенайзера.

Типичные клиенты этого класса сначала настраивают таблицы синтаксиса, а затем работают в цикле, вызывая nextToken для парсинга последовательных токенов до тех пор, пока не будет возвращён TT_EOF.

public void pushBack()

Принуждает следующий вызов метода nextToken этого токенайзера к возврату текущего значения в поле ttype, и не модифицировать значение в полях nval или sval.

public int lineno()

Возвращает текущий номер строки.

public String toString()

Возвращает строковое представление текущего токена потока и номера строки, на котором он встречается.

Точная возвращаемая строка не определена, хотя следующий пример можно считать типичным:

         Token['a'], line 10