token — Константы, используемые с синтаксическими деревьями Python

Исходный код: Lib/token.py

Этот модуль предоставляет константы, представляющие числовые значения узлов листа синтаксического дерева (терминальные токены). Обратитесь к файлу Grammar/Grammar в дистрибутиве Python для определений имён в контексте грамматики языка. Конкретные числовые значения, к которым сопоставляются имена, могут меняться между версиями Python.

Модуль также предоставляет отображение от числовых кодов к именам и некоторые функции. Функции отражают определения в заголовочных файлах Python C.

token.tok_name

Словарь, отображающий числовые значения констант, определённых в этом модуле, обратно в строковые имена, позволяя генерировать более удобочитаемые представления синтаксических деревьев.

token.ISTERMINAL(x)

Возвращает True для значений токенов терминалов.

token.ISNONTERMINAL(x)

Возвращает True для значений токенов нетерминалов.

token.ISEOF(x)

Возвращает True, если x является маркером, указывающим конец входных данных.

Константы токенов:

token.ENDMARKER

token.NAME

token.NUMBER

token.STRING

token.NEWLINE

token.INDENT

token.DEDENT

token.LPAR

Значение токена для "(".

token.RPAR

Значение токена для ")".

token.LSQB

Значение токена для "[".

token.RSQB

Значение токена для "]".

token.COLON

Значение токена для ":".

token.COMMA

Значение токена для ",".

token.SEMI

Значение токена для ";".

token.PLUS

Значение токена для "+".

token.MINUS

Значение токена для "-".

token.STAR

Значение токена для "*".

token.SLASH

Значение токена для "/".

token.VBAR

Значение токена для "|".

token.AMPER

Значение токена для "&".

token.LESS

Значение токена для "<".

token.GREATER

Значение токена для ">".

token.EQUAL

Значение токена для "=".

token.DOT

Значение токена для ".".

token.PERCENT

Значение токена для "%".

token.LBRACE

Значение токена для "{".

token.RBRACE

Значение токена для "}".

token.EQEQUAL

Значение токена для "==".

token.NOTEQUAL

Значение токена для "!=".

token.LESSEQUAL

Значение токена для "<=".

token.GREATEREQUAL

Значение токена для ">=".

token.TILDE

Значение токена для "~".

token.CIRCUMFLEX

Значение токена для "^".

token.LEFTSHIFT

Значение токена для "<<".

token.RIGHTSHIFT

Значение токена для ">>".

token.DOUBLESTAR

Значение токена для "**".

token.PLUSEQUAL

Значение токена для "+=".

token.MINEQUAL

Значение токена для "-=".

token.STAREQUAL

Значение токена для "*=".

token.SLASHEQUAL

Значение токена для "/=".

token.PERCENTEQUAL

Значение токена для "%=".

token.AMPEREQUAL

Значение токена для "&=".

token.VBAREQUAL

Значение токена для "|=".

token.CIRCUMFLEXEQUAL

Значение токена для "^=".

token.LEFTSHIFTEQUAL

Значение токена для "<<=".

token.RIGHTSHIFTEQUAL

Значение токена для ">>=".

token.DOUBLESTAREQUAL

Значение токена для "**=".

token.DOUBLESLASH

Значение токена для "//".

token.DOUBLESLASHEQUAL

Значение токена для "//=".

token.AT

Значение токена для "@".

token.ATEQUAL

Значение токена для "@=".

token.RARROW

Значение токена для "->".

token.ELLIPSIS

Значение токена для "...".

token.COLONEQUAL

Значение токена для ":=".

token.OP

token.AWAIT

token.ASYNC

token.TYPE_IGNORE

token.TYPE_COMMENT

token.ERRORTOKEN

token.N_TOKENS

token.NT_OFFSET

Следующие значения типов токенов не используются C-токеннером, но необходимы для модуля tokenize.

token.COMMENT

Значение токена, используемое для обозначения комментария.

token.NL

Значение токена, используемое для обозначения нетерминирующей новой строки. Токен NEWLINE указывает конец логической строки кода Python; токены NL генерируются, когда логическая строка кода продолжается на нескольких физических строках.

token.ENCODING

Значение токена, указывающее кодировку, используемую для декодирования байтов исходного кода в текст. Первый токен, возвращаемый tokenize.tokenize(), всегда будет токеном ENCODING.

token.TYPE_COMMENT

Значение токена, указывающее, что был распознан комментарий типа. Такие токены генерируются только при вызове ast.parse() с type_comments=True.