Класс StreamTokenizer

После вызова метода nextToken, это поле содержит тип только что прочитанного токена. Для токена одного символа его значением является сам символ, преобразованный в целое число. Для токена строковой константы в кавычках его значением является символ кавычек. В противном случае его значением является одно из следующих:

• TT_WORD указывает, что токен является словом.
• TT_NUMBER указывает, что токен является числом.
• TT_EOL указывает, что прочитан конец строки. Это значение поле может иметь только если метод eolIsSignificant был вызван со значением аргумента true.
• TT_EOF указывает, что достигнут конец входного потока.

Начальное значение этого поля равно -4.

Если текущий токен является токеном слова, это поле содержит строку, содержащую символы токена слова. Когда текущий токен является токеном строковой константы в кавычках, это поле содержит тело строки.

Текущий токен является токеном слова, когда значение поля ttype равно TT_WORD. Текущий токен является токеном строковой константы в кавычках, когда значение поля ttype является символом кавычек.

Начальное значение этого поля равно null.

Если текущий токен является числом, это поле содержит значение этого числа. Текущий токен является числом, когда значение поля ttype равно TT_NUMBER.

Начальное значение этого поля равно 0.0.

Устанавливает, что все символы c в диапазоне low <= c <= high являются пробельными символами. Пробельные символы служат только для разделения токенов во входном потоке.

Любые другие настройки атрибутов для символов в указанном диапазоне сбрасываются.

Устанавливает, что переданный символ является "обычным" в этом токенизаторе. Он удаляет любое специальное значение, которое символ имеет как символ комментария, составляющая слова, разделитель строк, пробельный символ или числовой символ. Когда анализатор встречает такой символ, он обрабатывает его как токен одного символа и устанавливает значение поля ttype в значение символа.

Преобразование символа разделителя строк в "обычный" может помешать подсчету строк токенизатором. Метод lineno может больше не отражать наличие таких символов разделителей строк в своём счетчике строк.

Указывает, что переданный символ начинает однострочный комментарий. Все символы от символа комментария до конца строки игнорируются этим токенизатором потока.

Любые другие настройки атрибутов для указанного символа сбрасываются.

Указывает, что соответствующие пары этого символа ограничивают строковые константы в этом токенизаторе.

Когда метод nextToken встречает строковую константу, поле ttype устанавливается в разделитель строк, а поле sval устанавливается в тело строки.

Если встречается символ кавычек для строк, то распознаётся строка, состоящая из всех символов после (но не включая) символа кавычек для строк, до (но не включая) следующего вхождения того же символа кавычек для строк, или разделителя строк, или конца файла. Обычные escape-последовательности, такие как "\n" и "\t" распознаются и преобразуются в отдельные символы при анализе строки.

Любые другие настройки атрибутов для указанного символа сбрасываются.

Указывает, что числа должны анализироваться этим токенизатором. Таблица синтаксиса этого токенизатора модифицируется так, что каждый из двенадцати символов:

0 1 2 3 4 5 6 7 8 9 . -

имеет атрибут "числовой".

Когда анализатор встречает токен слова, имеющий формат числа двойной точности с плавающей запятой, он обрабатывает токен как число, а не как слово, устанавливая поле ttype в значение TT_NUMBER и помещая числовое значение токена в поле nval.

Определяет, обрабатываются ли концы строк как токены. Если флаг аргумента имеет значение true, этот токенизатор обрабатывает концы строк как токены; метод nextToken возвращает TT_EOL и также устанавливает поле ttype в это значение, когда считывается конец строки.

Строка - это последовательность символов, заканчивающаяся либо символом возврата каретки ('\r') или символом новой строки ('\n'). Кроме того, символ возврата каретки, немедленно за которым следует символ новой строки, обрабатывается как единственный токен конца строки.

Если flag имеет значение false, символы конца строки обрабатываются как пробельные символы и служат только для разделения токенов.

Определяет, распознает ли токенизатор комментарии в стиле C. Если флаг аргумента равен true, этот токенизатор потока распознает комментарии в стиле C. Весь текст между последовательными появлениями /* и */ игнорируется.

Если флаг аргумента равен false, комментарии в стиле C не обрабатываются особым образом.

Определяет, распознает ли токенизатор комментарии в стиле C++. Если флаг аргумента равен true, этот токенизатор потока распознает комментарии в стиле C++. Любое появление двух последовательных косых черт ('/') интерпретируется как начало комментария, который продолжается до конца строки.

Если флаг аргумента равен false, комментарии в стиле C++ не обрабатываются особым образом.

Определяет, приводятся ли автоматически к нижнему регистру лексемы слов. Если флаг аргумента равен true, то значение в поле sval приводится к нижнему регистру всякий раз, когда возвращается лексема слова (поле ttype имеет значение TT_WORD методом nextToken этого токенизатора.

Если флаг аргумента равен false, то поле sval не изменяется.

Парсит следующую лексему из входного потока этого токенизатора. Тип следующей лексемы возвращается в поле ttype. Дополнительная информация о лексеме может находиться в поле nval или поле sval этого токенизатора.

Типичные клиенты этого класса сначала устанавливают таблицы синтаксиса, а затем находятся в цикле, вызывая nextToken для парсинга последовательных лексем, пока не будет возвращено TT_EOF.

Возвращает строковое представление текущего токена потока и номера строки, в котором он встречается.

Точная возвращаемая строка не определена, хотя следующий пример можно считать типичным:

Token['a'], line 10