Совместный граф с дескрипторами

Дескрипторы

class torch._functorch._aot_autograd.descriptors.AOTInput [исходный код]

Описывает происхождение входных данных из графа FX, созданного AOTAutograd

is_buffer() [исходный код]

True, если эти входные данные являются буфером или производны от буфера (например, атрибута подкласса)

Тип возвращаемого значения:

bool

is_param() [исходный код]

True, если эти входные данные являются параметром или производны от параметра (например, атрибута подкласса)

Тип возвращаемого значения:

bool

is_tangent() [исходный код]

True, если эти входные данные являются касательным вектором или производны от касательного вектора (например, атрибута подкласса)

Тип возвращаемого значения:

bool

class torch._functorch._aot_autograd.descriptors.AOTOutput [исходный код]

Описывает, в состав какого итогового результата будет включён выходной элемент графа FX, созданного AOTAutograd

is_grad() [исходный код]

True, если этот выходной элемент является градиентом или производен от градиента (например, атрибута подкласса)

Тип возвращаемого значения:

bool

class torch._functorch._aot_autograd.descriptors.BackwardTokenAOTInput(idx) [исходный код]

Токен состояния мира, передаваемый через операции с побочными эффектами; используется только для обратного прохода

class torch._functorch._aot_autograd.descriptors.BackwardTokenAOTOutput(idx) [исходный код]

Выходной токен состояния мира для вызовов с побочными эффектами. Он возвращается, чтобы предотвратить его удаление при DCE; используется только для обратного прохода

class torch._functorch._aot_autograd.descriptors.BufferAOTInput(target) [исходный код]

Входные данные являются буфером, FQN которого — target

class torch._functorch._aot_autograd.descriptors.DummyAOTInput(idx) [исходный код]

В некоторых ситуациях нужно вызвать функцию, ожидающую AOTInput, хотя соответствующая логика нам не нужна (чаще всего потому, что некоторый код используется и во время компиляции, и во время выполнения; в такой ситуации обработка AOTInput не требуется). В этом случае передайте фиктивный объект; однако лучше использовать версию функции, в которой его вообще нет.

class torch._functorch._aot_autograd.descriptors.DummyAOTOutput(idx) [исходный код]

Для случаев, когда распространение дескрипторов не требуется; обычно не используйте.

class torch._functorch._aot_autograd.descriptors.GradAOTOutput(grad_of) [исходный код]

Выходной элемент совместного графа, представляющий вычисленный градиент дифференцируемых входных данных

class torch._functorch._aot_autograd.descriptors.InputMutationAOTOutput(mutated_input) [исходный код]

Изменённое значение входного тензора возвращается для корректного распространения autograd.

class torch._functorch._aot_autograd.descriptors.IntermediateBaseAOTOutput(base_of) [исходный код]

Промежуточная базовая сущность для нескольких выходных элементов, которые ссылаются друг на друга. Мы сообщаем только об ОДНОМ из выходных элементов, участвовавших в создании этой базовой сущности.

class torch._functorch._aot_autograd.descriptors.ParamAOTInput(target) [исходный код]

Входные данные являются параметром, FQN которого — target

class torch._functorch._aot_autograd.descriptors.PhiloxBackwardBaseOffsetAOTInput [исходный код]

Смещение для функционализированных вызовов Philox RNG, предназначенное именно для графа обратного прохода.

class torch._functorch._aot_autograd.descriptors.PhiloxBackwardSeedAOTInput [исходный код]

Начальное значение для функционализированных вызовов Philox RNG, предназначенное именно для графа обратного прохода.

class torch._functorch._aot_autograd.descriptors.PhiloxForwardBaseOffsetAOTInput [исходный код]

Смещение для функционализированных вызовов Philox RNG, предназначенное именно для графа прямого прохода.

class torch._functorch._aot_autograd.descriptors.PhiloxForwardSeedAOTInput [исходный код]

Начальное значение для функционализированных вызовов Philox RNG, предназначенное именно для графа прямого прохода.

class torch._functorch._aot_autograd.descriptors.PhiloxUpdatedBackwardOffsetAOTOutput [исходный код]

Итоговое смещение после функционализированных вызовов RNG; используется только для обратного прохода

class torch._functorch._aot_autograd.descriptors.PhiloxUpdatedForwardOffsetAOTOutput [исходный код]

Итоговое смещение после функционализированных вызовов RNG; используется только для прямого прохода

class torch._functorch._aot_autograd.descriptors.PlainAOTInput(idx) [исходный код]

Входные данные являются обычным входом, соответствующим определённому позиционному индексу.

Обратите внимание: AOTInput всегда относится к функции с плоским соглашением о вызове, например, такому, которое принимает aot_module_simplified. Некоторые API AOTAutograd выполняют сплющивание pytrees, но мы не записываем пути ключей PyTree при сплющивании (хотя могли бы и должны были бы это делать!).

class torch._functorch._aot_autograd.descriptors.PlainAOTOutput(idx) [исходный код]

Обычный тензорный выходной элемент с индексом idx в кортеже выходных данных

class torch._functorch._aot_autograd.descriptors.SavedForBackwardsAOTOutput(idx: int) [исходный код]

class torch._functorch._aot_autograd.descriptors.SubclassGetAttrAOTInput(base, attr) [исходный код]

Перед передачей в граф FX входные данные-подклассы разбираются на составляющие их части. Этот дескриптор указывает, какому именно атрибуту подкласса соответствует данный вход (исходного аргумента-подкласса «base»).

class torch._functorch._aot_autograd.descriptors.SubclassGetAttrAOTOutput(base, attr) [исходный код]

Этот выходной элемент будет включён в подкласс в указанном месте

class torch._functorch._aot_autograd.descriptors.SubclassSizeAOTInput(base, idx) [исходный код]

Подкласс, из которого получен этот внешний вход SymInt размера (для измерения с индексом dim).

class torch._functorch._aot_autograd.descriptors.SubclassSizeAOTOutput(base, idx) [исходный код]

Этот размер выходных данных будет включён в подкласс в указанном месте

class torch._functorch._aot_autograd.descriptors.SubclassStrideAOTInput(base, idx) [исходный код]

Подкласс, из которого получен этот внешний вход SymInt шага (для измерения с индексом dim).

class torch._functorch._aot_autograd.descriptors.SubclassStrideAOTOutput(base, idx) [исходный код]

Этот шаг выходных данных будет включён в подкласс в указанном месте

class torch._functorch._aot_autograd.descriptors.SyntheticBaseAOTInput(base_of) [исходный код]

Похоже на ViewBaseAOTInput, но используется, когда ни одно из представлений не было дифференцируемым. Поэтому мы не смогли получить доступ к исходному представлению и создали синтетическое представление для нужд autograd.

class torch._functorch._aot_autograd.descriptors.ViewBaseAOTInput(base_of) [исходный код]

Если несколько дифференцируемых входных данных являются представлениями одного и того же входа, AOTAutograd заменяет все эти представления одним входом, представляющим базовый тензор. Если это нежелательно, можно клонировать примеры входных данных-представлений перед передачей в AOTAutograd.

TODO: В принципе, мы могли бы сообщать обо ВСЕХ входных данных, для которых этот объект является базовым.

Утилиты FX

Этот модуль содержит вспомогательные функции для работы с совместными графами FX с дескрипторами, создаваемыми AOTAutograd. Они НЕ будут работать с произвольными графами FX. См. также torch._functorch.aot_autograd.aot_export_joint_with_descriptors(). Также рекомендуем ознакомиться с :mod:torch._functorch._aot_autograd.descriptors`.

torch._functorch._aot_autograd.fx_utils.get_all_input_and_grad_nodes(g) [источник]

Для совместного графа с дескрипторами (meta[‘desc’] для заполнителей и выходных данных) возвращает узел для каждого входа и соответствующий ему узел градиента на выходе, если он существует. Эти кортежи помещаются в словарь, индексируемый дескриптором AOTInput, который описывает вход.

Примечание: возвращаются все тензорные входы прямого прохода, включая недифференцируемые входы (для которых градиент равен None), поэтому эту функцию можно безопасно использовать для выполнения операций над всеми входами. (Эта функция НЕ обходит нетензорные входы, например символические целые числа, токены или состояние RNG.)

Параметры:

g (Graph) – Совместный граф FX с дескрипторами

Возвращает:

Словарь, сопоставляющий каждому дескриптору DifferentiableAOTInput кортеж, содержащий: - Сам узел входа - Узел градиента (выхода), если он существует, иначе None

Вызывает исключение:

• RuntimeError – Если совместный граф содержит тензорные входы или выходы подклассов; это
• не поддерживается API, поскольку при использовании подклассов соответствие между –
• входами и градиентами не обязательно является взаимно однозначным. –

Тип возвращаемого значения:

dict[DifferentiableAOTInput, tuple[Node, Node | None]]

torch._functorch._aot_autograd.fx_utils.get_all_output_and_tangent_nodes(g) [источник]

Получает все узлы выходных данных и соответствующие им узлы касательных векторов из совместного графа.

Аналогична get_all_input_and_grad_nodes, но возвращает пары из узлов выходных данных и соответствующих им узлов касательных векторов (если они существуют). Эта функция обходит граф, чтобы найти все дифференцируемые выходные данные и сопоставить их с соответствующими касательными входами, используемыми при автоматическом дифференцировании в прямом режиме.

Примечание: возвращаются все тензорные выходные данные прямого прохода, включая недифференцируемые, поэтому эту функцию можно использовать для выполнения операций над всеми выходными данными.

Параметры:

g (Graph) – Совместный граф FX с дескрипторами

Возвращает:

Словарь, сопоставляющий каждому дескриптору DifferentiableAOTOutput кортеж, содержащий: - Сам узел выходных данных - Узел касательного вектора (входа), если он существует, иначе None

Вызывает исключение:

• RuntimeError – Если совместный граф содержит тензорные входы или выходы подклассов; это
• не поддерживается API, поскольку при использовании подклассов соответствие между –
• выходными данными и касательными векторами не обязательно является взаимно однозначным. –

Тип возвращаемого значения:

dict[DifferentiableAOTOutput, tuple[Node, Node | None]]

torch._functorch._aot_autograd.fx_utils.get_buffer_nodes(graph) [источник]

Получает все узлы буферов графа в виде списка.

Можно рассчитывать на то, что эта функция возвращает буферы в нужном порядке для передачи в совместный граф (после параметров).

Параметры:

graph (Graph) – Совместный граф FX с дескрипторами

Возвращает:

Список узлов FX, представляющих все буферы в графе.

Вызывает исключение:

• RuntimeError – Если встретились тензоры подклассов (пока не поддерживаются), поскольку
• неясно, нужны ли вам отдельные составляющие части подклассов или –
• их следует каким-либо образом сгруппировать. –

Тип возвращаемого значения:

list[Node]

torch._functorch._aot_autograd.fx_utils.get_named_buffer_nodes(graph) [источник]

Получает узлы буферов, сопоставленные с их полными именами.

Эта функция обходит граф, чтобы найти все входные узлы буферов, и возвращает их в словаре, где ключами являются имена буферов (FQN), а значениями — соответствующие узлы FX.

Параметры:

graph (Graph) – Совместный граф FX с дескрипторами

Возвращает:

Словарь, сопоставляющий имена буферов (str) с соответствующими узлами FX.

Вызывает исключение:

• RuntimeError – Если встретились тензоры подклассов (пока не поддерживаются), поскольку
• для подклассов FQN не обязательно соответствует одному обычному тензору. –

Тип возвращаемого значения:

dict[str, Node]

torch._functorch._aot_autograd.fx_utils.get_named_param_nodes(graph) [источник]

Получает узлы параметров, сопоставленные с их полными именами.

Эта функция обходит граф, чтобы найти все входные узлы параметров, и возвращает их в словаре, где ключами являются имена параметров (FQN), а значениями — соответствующие узлы FX.

Параметры:

graph (Graph) – Совместный граф FX с дескрипторами

Возвращает:

Словарь, сопоставляющий имена параметров (str) с соответствующими узлами FX.

Вызывает исключение:

• RuntimeError – Если встретились тензоры подклассов (пока не поддерживаются), поскольку
• для подклассов FQN не обязательно соответствует одному обычному тензору. –

Тип возвращаемого значения:

dict[str, Node]

torch._functorch._aot_autograd.fx_utils.get_param_and_grad_nodes(graph) [источник]

Получает узлы параметров и соответствующие им узлы градиентов из совместного графа.

Параметры:

graph (Graph) – Совместный граф FX с дескрипторами

Возвращает:

• Входной узел параметра
• Узел градиента (выхода), если он существует, иначе None

Тип возвращаемого значения:

Словарь, сопоставляющий каждому дескриптору ParamAOTInput кортеж, содержащий

torch._functorch._aot_autograd.fx_utils.get_param_nodes(graph) [источник]

Получает все узлы параметров графа в виде списка.

Можно рассчитывать на то, что эта функция возвращает параметры в нужном порядке для передачи в совместный граф (в самом начале списка аргументов, перед буферами).

Параметры:

graph (Graph) – Совместный граф FX с дескрипторами

Возвращает:

Список узлов FX, представляющих все параметры в графе.

Вызывает исключение:

• RuntimeError – Если встретились тензоры подклассов (пока не поддерживаются), поскольку
• неясно, нужны ли вам отдельные составляющие части подклассов или –
• их следует каким-либо образом сгруппировать. –

Тип возвращаемого значения:

list[Node]

torch._functorch._aot_autograd.fx_utils.get_plain_input_and_grad_nodes(graph) [источник]

Получает узлы обычных входов и соответствующие им узлы градиентов из совместного графа.

Параметры:

graph (Graph) – Совместный граф FX с дескрипторами

Возвращает:

• Узел обычного входа
• Узел градиента (выхода), если он существует, иначе None

Тип возвращаемого значения:

Словарь, сопоставляющий каждому дескриптору PlainAOTInput кортеж, содержащий

torch._functorch._aot_autograd.fx_utils.get_plain_output_and_tangent_nodes(graph) [источник]

Получает узлы обычных выходных данных и соответствующие им узлы касательных векторов из совместного графа.

Параметры:

graph (Graph) – Совместный граф FX с дескрипторами

Возвращает:

• Узел обычного выходного значения
• Узел касательного вектора (входа), если он существует, иначе None

Тип возвращаемого значения:

Словарь, сопоставляющий каждому дескриптору PlainAOTOutput кортеж, содержащий