token — Константы, используемые с Python-разборами деревьев

Исходный код: Lib/token.py

Этот модуль предоставляет константы, которые представляют числовые значения узлов листа синтаксического дерева (терминальные токены). Обратитесь к файлу Grammar/Tokens в дистрибутиве Python для определений имён в контексте грамматики языка. Конкретные числовые значения, которым соответствуют имена, могут изменяться между версиями Python.

Модуль также предоставляет отображение из числовых кодов в имена и некоторые функции. Функции дублируют определения в заголовочных файлах Python C.

token.tok_name: Словарь, отображающий числовые значения констант, определённых в этом модуле, обратно в строковые имена, что позволяет генерировать более удобочитаемое представление синтаксических деревьев.

token.ISTERMINAL(x): Возвращает True для значений терминального токена.

token.ISNONTERMINAL(x): Возвращает True для значений токена нетерминала.

token.ISEOF(x): Возвращает True если x — маркер, указывающий на конец входных данных.

Константы токенов:

token.ENDMARKER

token.NAME

token.NUMBER

token.STRING

token.NEWLINE

token.INDENT

token.DEDENT

token.LPAR: Значение токена для "(".

token.RPAR: Значение токена для ")".

token.LSQB: Значение токена для "[".

token.RSQB: Значение токена для "]".

token.COLON: Значение токена для ":".

token.COMMA: Значение токена для ",".

token.SEMI: Значение токена для ";".

token.PLUS: Значение токена для "+".

token.MINUS: Значение токена для "-".

token.STAR: Значение токена для "*".

token.SLASH: Значение токена для "/".

token.VBAR: Значение токена для "|".

token.AMPER: Значение токена для "&".

token.LESS: Значение токена для "<".

token.GREATER: Значение токена для ">".

token.EQUAL: Значение токена для "=".

token.DOT: Значение токена для ".".

token.PERCENT: Значение токена для "%".

token.LBRACE: Значение токена для "{".

token.RBRACE: Значение токена для "}".

token.EQEQUAL: Значение токена для "==".

token.NOTEQUAL: Значение токена для "!=".

token.LESSEQUAL: Значение токена для "<=".

token.GREATEREQUAL: Значение токена для ">=".

token.TILDE: Значение токена для "~".

token.CIRCUMFLEX: Значение токена для "^".

token.LEFTSHIFT: Значение токена для "<<".

token.RIGHTSHIFT: Значение токена для ">>".

token.DOUBLESTAR: Значение токена для "**".

token.PLUSEQUAL: Значение токена для "+=".

token.MINEQUAL: Значение токена для "-=".

token.STAREQUAL: Значение токена для "*=".

token.SLASHEQUAL: Значение токена для "/=".

token.PERCENTEQUAL: Значение токена для "%=".

token.AMPEREQUAL: Значение токена для "&=".

token.VBAREQUAL: Значение токена для "|=".

token.CIRCUMFLEXEQUAL: Значение токена для "^=".

token.LEFTSHIFTEQUAL: Значение токена для "<<=".

token.RIGHTSHIFTEQUAL: Значение токена для ">>=".

token.DOUBLESTAREQUAL: Значение токена для "**=".

token.DOUBLESLASH: Значение токена для "//".

token.DOUBLESLASHEQUAL: Значение токена для "//=".

token.AT: Значение токена для "@".

token.ATEQUAL: Значение токена для "@=".

token.RARROW: Значение токена для "->".

token.ELLIPSIS: Значение токена для "...".

token.COLONEQUAL: Значение токена для ":=".

token.EXCLAMATION: Значение токена для "!".

token.OP

token.TYPE_IGNORE

token.TYPE_COMMENT

token.SOFT_KEYWORD

token.FSTRING_START

token.FSTRING_MIDDLE

token.FSTRING_END

token.COMMENT

token.NL

token.ERRORTOKEN

END_OF_DOCUMENT_MARKER

token.N_TOKENS

token.NT_OFFSET

Следующие значения типов токенов не используются C-токенизатором, но необходимы для модуля tokenize.

token.COMMENT: Значение токена, используемое для обозначения комментария.

token.NL: Значение токена, используемое для обозначения нетерминирующей новой строки. Токен NEWLINE указывает конец логической строки кода Python; токен NL генерируется, когда логическая строка кода продолжается на нескольких физических строках.

token.ENCODING: Значение токена, указывающее кодировку, используемую для декодирования байтов исходного кода в текст. Первый возвращаемый токен tokenize.tokenize() всегда будет токеном ENCODING.

token.TYPE_COMMENT: Значение токена, указывающее, что был распознан комментарий типа. Такие токены генерируются только при вызове ast.parse() с type_comments=True.

token.EXACT_TOKEN_TYPES: Словарь, сопоставляющий строковое представление токена его числовому коду.

Добавлен в версии 3.8.

Изменено в версии 3.5: Добавлены токены AWAIT и ASYNC.

Изменено в версии 3.7: Добавлены токены COMMENT, NL и ENCODING.

Изменено в версии 3.7: Удалены токены AWAIT и ASYNC. «async» и «await» теперь распознаются как токены NAME.

Изменено в версии 3.8: Добавлены TYPE_COMMENT, TYPE_IGNORE, COLONEQUAL. Добавлены токены AWAIT и ASYNC обратно (они необходимы для поддержки парсинга старых версий Python для ast.parse() с feature_version равным 6 или ниже).

Изменено в версии 3.13: Опять удалены токены AWAIT и ASYNC.