token — Константы, используемые с Python-разборами деревьев

Исходный код: Lib/token.py

Этот модуль предоставляет константы, которые представляют числовые значения узлов листа разбора дерева (терминальные токены). Обратитесь к файлу Grammar/Tokens в дистрибутиве Python для определений имен в контексте грамматики языка. Конкретные числовые значения, к которым сопоставляются имена, могут изменяться между версиями Python.

Модуль также предоставляет отображение из числовых кодов в имена и некоторые функции. Функции отражают определения в заголовочных файлах Python C.

token.tok_name

Словарь, отображающий числовые значения констант, определённых в этом модуле, обратно в строковые имена, что позволяет генерировать более удобочитаемое представление разбора деревьев.

token.ISTERMINAL(x)

Возвращает True для значений терминального токена.

token.ISNONTERMINAL(x)

Возвращает True для значений нетерминального токена.

token.ISEOF(x)

Возвращает True если x является маркером, указывающим на конец ввода.

Константы токенов:

token.ENDMARKER

token.NAME

token.NUMBER

token.STRING

token.NEWLINE

token.INDENT

token.DEDENT

token.LPAR

Значение токена для "(".

token.RPAR

Значение токена для ")".

token.LSQB

Значение токена для "[".

token.RSQB

Значение токена для "]".

token.COLON

Значение токена для ":".

token.COMMA

Значение токена для ",".

token.SEMI

Значение токена для ";".

token.PLUS

Значение токена для "+".

token.MINUS

Значение токена для "-".

token.STAR

Значение токена для "*".

token.SLASH

Значение токена для "/".

token.VBAR

Значение токена для "|".

token.AMPER

Значение токена для "&".

token.LESS

Значение токена для "<".

token.GREATER

Значение токена для ">".

token.EQUAL

Значение токена для "=".

token.DOT

Значение токена для ".".

token.PERCENT

Значение токена для "%".

token.LBRACE

Значение токена для "{".

token.RBRACE

Значение токена для "}".

token.EQEQUAL

Значение токена для "==".

token.NOTEQUAL

Значение токена для "!=".

token.LESSEQUAL

Значение токена для "<=".

token.GREATEREQUAL

Значение токена для ">=".

token.TILDE

Значение токена для "~".

token.CIRCUMFLEX

Значение токена для "^".

token.LEFTSHIFT

Значение токена для "<<".

token.RIGHTSHIFT

Значение токена для ">>".

token.DOUBLESTAR

Значение токена для "**".

token.PLUSEQUAL

Значение токена для "+=".

token.MINEQUAL

Значение токена для "-=".

token.STAREQUAL

Значение токена для "*=".

token.SLASHEQUAL

Значение токена для "/=".

token.PERCENTEQUAL

Значение токена для "%=".

token.AMPEREQUAL

Значение токена для "&=".

token.VBAREQUAL

Значение токена для "|=".

token.CIRCUMFLEXEQUAL

Значение токена для "^=".

token.LEFTSHIFTEQUAL

Значение токена для "<<=".

token.RIGHTSHIFTEQUAL

Значение токена для ">>=".

token.DOUBLESTAREQUAL

Значение токена для "**=".

token.DOUBLESLASH

Значение токена для "//".

token.DOUBLESLASHEQUAL

Значение токена для "//=".

token.AT

Значение токена для "@".

token.ATEQUAL

Значение токена для "@=".

token.RARROW

Значение токена для "->".

token.ELLIPSIS

Значение токена для "...".

token.COLONEQUAL

Значение токена для ":=".

token.OP

token.AWAIT

token.ASYNC

token.TYPE_IGNORE

token.TYPE_COMMENT

token.SOFT_KEYWORD

token.ERRORTOKEN

token.N_TOKENS

token.NT_OFFSET

Следующие значения типов токенов не используются токенизатором C, но необходимы для модуля tokenize.

token.COMMENT

Значение маркера, используемого для обозначения комментария.

token.NL

Значение маркера, используемого для обозначения не-завершающейся новой строки. Маркер NEWLINE указывает конец логической строки кода Python; маркеры NL генерируются, когда логическая строка кода продолжается на нескольких физических строках.

token.ENCODING

Значение маркера, указывающее кодировку, используемую для декодирования байтов исходного файла в текст. Первый маркер, возвращаемый tokenize.tokenize(), всегда будет маркером ENCODING.

token.TYPE_COMMENT

Значение маркера, указывающее, что был распознан комментарий типа. Такие маркеры генерируются только тогда, когда ast.parse() вызывается с type_comments=True.