token — Константы, используемые с синтаксическими деревьями Python

Исходный код: Lib/token.py

Этот модуль предоставляет константы, представляющие числовые значения узлов листа синтаксического дерева (терминальные токены). Обратитесь к файлу Grammar/Grammar в дистрибутиве Python для определений имен в контексте грамматики языка. Конкретные числовые значения, которым соответствуют имена, могут изменяться между версиями Python.

Модуль также предоставляет отображение из числовых кодов в имена и некоторые функции. Эти функции дублируют определения в заголовочных файлах Python C.

token.tok_name

Словарь, отображающий числовые значения констант, определенных в этом модуле, обратно в строковые имена, позволяя генерировать более удобочитаемое представление синтаксических деревьев.

token.ISTERMINAL(x)

Возвращает true для значений токенов-терминалов.

token.ISNONTERMINAL(x)

Возвращает true для значений токенов-нетерминалов.

token.ISEOF(x)

Возвращает true, если x — маркер, указывающий на конец входных данных.

Константы токенов:

token.ENDMARKER

token.NAME

token.NUMBER

token.STRING

token.NEWLINE

token.INDENT

token.DEDENT

token.LPAR

token.RPAR

token.LSQB

token.RSQB

token.COLON

token.COMMA

token.SEMI

token.PLUS

token.MINUS

token.STAR

token.SLASH

token.VBAR

token.AMPER

token.LESS

token.GREATER

token.EQUAL

token.DOT

token.PERCENT

token.LBRACE

token.RBRACE

token.EQEQUAL

token.NOTEQUAL

token.LESSEQUAL

token.GREATEREQUAL

token.TILDE

token.CIRCUMFLEX

token.LEFTSHIFT

token.RIGHTSHIFT

token.DOUBLESTAR

token.PLUSEQUAL

token.MINEQUAL

token.STAREQUAL

token.SLASHEQUAL

token.PERCENTEQUAL

token.AMPEREQUAL

token.VBAREQUAL

token.CIRCUMFLEXEQUAL

token.LEFTSHIFTEQUAL

token.RIGHTSHIFTEQUAL

token.DOUBLESTAREQUAL

token.DOUBLESLASH

token.DOUBLESLASHEQUAL

token.AT

token.ATEQUAL

token.RARROW

token.ELLIPSIS

token.OP

token.AWAIT

token.ASYNC

token.ERRORTOKEN

token.N_TOKENS

token.NT_OFFSET

Изменено в версии 3.5: Добавлены токены AWAIT и ASYNC. Начиная с Python 3.7, «async» и «await» будут токенизированы как токены NAME, а AWAIT и ASYNC будут удалены.