token — Константы, используемые с деревьями разбора Python

Исходный код: Lib/token.py

Этот модуль предоставляет константы, представляющие числовые значения узлов-листьев дерева разбора (терминальные токены). Обратитесь к файлу Grammar/Grammar в дистрибутиве Python для определений имен в контексте грамматики языка. Конкретные числовые значения, которым соответствуют имена, могут изменяться между версиями Python.

Модуль также предоставляет отображение от числовых кодов к именам и некоторые функции. Функции дублируют определения в заголовочных файлах Python на C.

token.tok_name

Словарь, сопоставляющий числовые значения констант, определенных в этом модуле, со строками имен, позволяя генерировать более удобочитаемое представление деревьев разбора.

token.ISTERMINAL(x)

Возвращает True для значений терминальных токенов.

token.ISNONTERMINAL(x)

Возвращает True для значений токенов, не являющихся терминальными.

token.ISEOF(x)

Возвращает True , если x — маркер, указывающий на конец входных данных.

Константы токенов:

token.ENDMARKER

token.NAME

token.NUMBER

token.STRING

token.NEWLINE

token.INDENT

token.DEDENT

token.LPAR

token.RPAR

token.LSQB

token.RSQB

token.COLON

token.COMMA

token.SEMI

token.PLUS

token.MINUS

token.STAR

token.SLASH

token.VBAR

token.AMPER

token.LESS

token.GREATER

token.EQUAL

token.DOT

token.PERCENT

token.LBRACE

token.RBRACE

token.EQEQUAL

token.NOTEQUAL

token.LESSEQUAL

token.GREATEREQUAL

token.TILDE

token.CIRCUMFLEX

token.LEFTSHIFT

token.RIGHTSHIFT

token.DOUBLESTAR

token.PLUSEQUAL

token.MINEQUAL

token.STAREQUAL

token.SLASHEQUAL

token.PERCENTEQUAL

token.AMPEREQUAL

token.VBAREQUAL

token.CIRCUMFLEXEQUAL

token.LEFTSHIFTEQUAL

token.RIGHTSHIFTEQUAL

token.DOUBLESTAREQUAL

token.DOUBLESLASH

token.DOUBLESLASHEQUAL

token.AT

token.ATEQUAL

token.RARROW

token.ELLIPSIS

token.OP

token.ERRORTOKEN

token.N_TOKENS

token.NT_OFFSET

Следующие значения типов токенов не используются в токенизаторе C, но необходимы для модуля tokenize.

token.COMMENT

Значение токена, используемое для обозначения комментария.

token.NL

Значение токена, используемое для обозначения нетерминирующего перевода строки. Токен NEWLINE указывает на конец логической строки кода Python; токены NL генерируются, когда логическая строка кода продолжается на нескольких физических строках.

token.ENCODING

Значение токена, указывающее на кодировку, используемую для декодирования байтов исходного кода в текст. Первый токен, возвращаемый tokenize.tokenize(), всегда будет токеном ENCODING.