token — Константы, используемые с деревьями разбора Python

Исходный код: Lib/token.py

Этот модуль предоставляет константы, которые представляют числовые значения узлов-листьев дерева разбора (терминальных токенов). Обратитесь к файлу Grammar/Grammar в дистрибутиве Python для определений имён в контексте грамматики языка. Конкретные числовые значения, которым соответствуют имена, могут меняться между версиями Python.

Модуль также предоставляет отображение от числовых кодов к именам и некоторые функции. Эти функции отражают определения в заголовочных файлах Python C.

token.tok_name

Словарь, отображающий числовые значения констант, определённых в этом модуле, обратно в строковые имена, что позволяет генерировать более удобочитаемые представления деревьев разбора.

token.ISTERMINAL(x)

Возвращает true для значений терминальных токенов.

token.ISNONTERMINAL(x)

Возвращает true для значений токенов, не являющихся терминальными.

token.ISEOF(x)

Возвращает true, если x — маркер, указывающий на конец входных данных.

Константы токенов:

token.ENDMARKER

token.NAME

token.NUMBER

token.STRING

token.NEWLINE

token.INDENT

token.DEDENT

token.LPAR

token.RPAR

token.LSQB

token.RSQB

token.COLON

token.COMMA

token.SEMI

token.PLUS

token.MINUS

token.STAR

token.SLASH

token.VBAR

token.AMPER

token.LESS

token.GREATER

token.EQUAL

token.DOT

token.PERCENT

token.BACKQUOTE

token.LBRACE

token.RBRACE

token.EQEQUAL

token.NOTEQUAL

token.LESSEQUAL

token.GREATEREQUAL

token.TILDE

token.CIRCUMFLEX

token.LEFTSHIFT

token.RIGHTSHIFT

token.DOUBLESTAR

token.PLUSEQUAL

token.MINEQUAL

token.STAREQUAL

token.SLASHEQUAL

token.PERCENTEQUAL

token.AMPEREQUAL

token.VBAREQUAL

token.CIRCUMFLEXEQUAL

token.LEFTSHIFTEQUAL

token.RIGHTSHIFTEQUAL

token.DOUBLESTAREQUAL

token.DOUBLESLASH

token.DOUBLESLASHEQUAL

token.AT

token.OP

token.ERRORTOKEN

token.N_TOKENS

token.NT_OFFSET