torch.fx.experimental

Определяет, как выполнять выделение символа для измерения.

Для клиентов: размер этого измерения должен находиться в пределах 'vr' (который задаёт включительные нижнюю и верхнюю границы) И быть неотрицательным; он не должен быть равен 0 или 1 (см. примечание ниже).

Для клиентов: явных ограничений нет; ограничение определяется неявно защитными проверками, выведенными при трассировке.

Представляет различные виды ограничений на равенство между источниками входных данных и определяет их выполнение.

Структура данных, задающая, как следует создавать символы в _create_symbolic_sizes_strides_storage_offset, например статическими или динамическими.

Создаёт символы в _create_symbolic_sizes_strides_storage_offset на основе определения symbolic_context, заданного посредством DimDynamic и DimConstraint.

Создаёт символы в _create_symbolic_sizes_strides_storage_offset на основе определения symbolic_context, заданного кешем Source:Symbol.

Правильный символический контекст для заданного внутреннего тензора трассируемого подкласса тензора может отличаться от внешнего символического контекста.

Это оболочка для SymInt с альтернативной семантикой равенства и сериализации с помощью pickle.

Структура данных, задающая ограничения для входного значения SymInt.

Отслеживает источники всех фиктивных тензоров, которые мы оборачиваем в Dynamo.

Расположения защитных проверок, вызвавших ограничения снизу и сверху.

Пользовательский решатель системы ограничений на символические измерения.

Содержит все настройки среды форм, потенциально влияющие на диспетчеризацию FakeTensor.

Этот класс используется в контекстах компиляции с несколькими графами, где создаётся несколько специализированных графов и во время выполнения выбирается подходящий.

Вспомогательная функция для проверки, является ли базовый объект в SymInt конкретным значением.

Вспомогательная функция для проверки, является ли базовый объект в SymBool конкретным значением.

Вспомогательная функция для проверки, является ли базовый объект в SymInt конкретным значением.

Более быстрая версия bool(free_symbols(val))

Более быстрая версия bool(free_unbacked_symbols(val))

Попытаться установить защитную проверку для a; если возникает ошибка из-за зависимости от данных, просто вернуть true.

Попытаться установить защитную проверку для a; если возникает ошибка из-за зависимости от данных, просто вернуть false.

Выполнить защитную проверку символического булева выражения способом, не зависящим от размера.

Логическое «и» для символических выражений без преобразования в bool.

Подобно ==, но при работе со списком или кортежем рекурсивно проверяет равенство и объединяет результаты с помощью sym_and без выполнения защитной проверки.

Логическое «или» для символических выражений без преобразования в bool.

Накладывает ограничение, согласно которому переданное значение SymInt должно находиться в диапазоне от min до max включительно, НЕ создавая защитную проверку для SymInt (это позволяет применять функцию к значениям SymInt без подложки).

Накладывает на два значения SymInt ограничение, согласно которому они должны быть равны.

Приводит булево выражение к каноническому виду, преобразуя его в неравенство lt / le и перенося все неконстантные слагаемые в правую часть.

Возвращает True, если x можно упростить до константы и эта константа истинна.

Возвращает True, если x можно упростить до константы и эта константа равна False.

Удобная для пользовательского кода вспомогательная функция для проверки, является ли значение статическим или динамическим.

Проверяет, что два значения «meta» (обычно Tensor или SymInt) имеют одинаковые значения, например после повторной трассировки.

После выполнения распространения фиктивных тензоров и получения результата example_value обходит example_value в поисках недавно привязанных символов без подложки и записывает их пути для последующего использования.

Предположим, что мы повторно трассируем существующий граф FX, для которого ранее выполнялось распространение фиктивных тензоров (и поэтому в нём имеются значения SymInt без подложки).

При распространении фиктивных тензоров мы часто выделяем новые значения symint без подложки.

Вспомогательная функция для определения, пытается ли узел получить доступ к символическому целому числу, например к размеру, шагу, смещению или элементу.

Преобразует SymBool или bool в SymInt или int без создания защитных проверок.

Находит в графе FX все узлы, привязывающие символы sympy.

Рекурсивно собирает все свободные символы из значения.

Как free_symbols, но возвращает только символы без подложки.

Выполняет защитную проверку скалярного значения, которым может быть символическое или конкретное логическое, целочисленное значение либо число с плавающей запятой.

Возвращает конкретную подсказку для символического значения, используемую при принятии решений о защитных проверках.

Проверяет, доступна ли для символического значения подсказка, используемая при выполнении защитных проверок.

Проверяет, является ли заданный узел FX узлом привязки символа.

Возвращает конкретную подсказку для символического целого числа, используемую при принятии решений об оптимизации.

Для заданной функции f возвращает новую функцию, которая при выполнении с допустимыми аргументами для f возвращает FX GraphModule, представляющий набор операций, выполненных в ходе выполнения.

Вызывает текущий активный режим proxy-трассировки для выполнения трассировки диспетчеризации SymInt/SymFloat/SymBool функции, работающей с этими аргументами.

Текущий активный режим proxy-трассировки или None, если в данный момент трассировка не выполняется.

В рамках этого менеджера контекста, если выполняется трассировка make_fx, мы преобразуем все вычисления SymNode в отложенные и не будем добавлять их в граф, если только это действительно не потребуется.

Отключает преобразование в отложенные вычисления в заданном контексте.

Повторно трассирует объединённый графовый модуль и выборочно применяет декомпозицию.

Откладывает вычисление f до следующего вызова. Также кэширует результат.

Из-за аргументов переменной длины FX работает некорректно; исправляем это.

Получив списки узлов существующего графа, представляющие подграф, возвращает подмодуль, выполняющий этот подграф.

Создаёт эвристику, которую можно передать в optimize_for_inference. Она определяет, следует ли выполнять подграф в MKL, запуская его с example_inputs.

Для каждого узла, являющегося модулем, который можно предварительно преобразовать в MKLDNN, выполняет такое преобразование и создаёт сопоставление, позволяющее преобразовать версию модуля для MKLDNN в исходную.

Выполняет набор проходов оптимизации модели для инференса.

Удаляет из модуля все слои dropout.

Возвращает исходное состояние каждого модуля, изменённого с помощью modules_to_mkldnn.

Это эвристика, которую можно передать в optimize_for_inference. Она определяет, следует ли выполнять подграф в MKL, проверяя, содержит ли он более 2 узлов.

Заменяет переменные выражения подстановкой >>> x, y = var(), var() >>> e = (1, x, (3, y)) >>> s = {x: 2, y: 4} >>> reify(e, s) (1, 2, (3, 4)) >>> e = {1: x, 3: (y, 5)} >>> reify(e, s) {1: 2, 3: (4, 5)}

Получает имя type.

>>> expand_tuples([1, (2, 3)])

Группирует коллекцию по функции-ключу >>> names = ["Alice", "Bob", "Charlie", "Dan", "Edith", "Frank"] >>> groupby(len, names) # doctest: +SKIP {3: ['Bob', 'Dan'], 5: ['Alice', 'Edith', 'Frank'], 7: ['Charlie']} >>> iseven = lambda x: x % 2 == 0 >>> groupby(iseven, [1, 2, 3, 4, 5, 6, 7, 8]) # doctest: +SKIP {False: [1, 3, 5, 7], True: [2, 4, 6, 8]} .

Обращает направление зависимостей в словаре.

Возвращает новый dict с новой парой ключ-значение.

Возвращает новый dict с новой, возможно вложенной, парой ключ-значение.

Возвращает новый dict с удалённым указанным ключом или ключами.

Первый элемент последовательности.

Возвращает coll[i0][i1]...[iX], где [i0, i1, ..., iX]==keys.

Группирует коллекцию по функции-ключу.

Фильтрует элементы словаря по ключу.

Применяет функцию к ключам словаря.

Объединяет коллекцию словарей.

Объединяет словари и применяет функцию к объединённым значениям.

Обновляет значение во (возможно) вложенном словаре.

Фильтрует элементы словаря по значению.

Применяет функцию к значениям словаря.

Фильтрует элементы словаря по элементу.

Применяет функцию к элементам словаря.

Преобразует алгебраическое выражение в формат z3 :param expr: Выражение представляет собой переменную измерения или алгебраическое выражение

По заданной трассировке генерирует ограничения и преобразует их в формат z3.

Получает узел и граф и генерирует два набора ограничений.

Получает переменную измерения или число и преобразует его в кортеж согласно принятой схеме :param dimension: Измерение для преобразования :param counter: отслеживание переменных

Преобразует переменные тензора в формат, понятный z3 :param tensor: Переменная тензора или тип тензора, возможно, с переменными измерениями

Получив IR и узел, представляющий условное выражение, вычисляет это условное выражение и его отрицание :param tracer_root: Корень трассировщика для экземпляров модуля :param node: Узел для вычисления

Преобразует ограничения до достижения неподвижной точки.

Ограничения указывают, что тип имеет форму: [*, 1024, 1024], а normalized_dim имеет форму [1024, 1024].

Ограничения, сопоставляющие вход тензору размера 3 и переставляющие измерения согласно правилам пакетного умножения

Формы входа и выхода должны совпадать. Необходимо проверить допустимость индекса.

Форма выхода отличается от формы входа последним измерением

Создаётся ограничение: input = output

Создаются те же ограничения, что и для сложения тензоров, но ранг этого выражения ограничивается значением len(n.args[1:]), чтобы для выхода рассматривались только соответствующие случаи.

Если атрибут равен "device", форма тензора сохраняется

Создаётся ограничение: input = output

Формы входа и выхода должны совпадать.

Размеры входа и выхода должны совпадать, кроме последнего измерения. Если вход имеет тип Dyn, выход также должен иметь тип Dyn.

Аналогично сложению.

В системе постепенных типов это приводит к противоречию.

Проверяет, находится ли индекс i в пределах списка размера n :param i: индекс :param n: размер списка

Формы входа и выхода должны совпадать.

Ограничение представляет собой равенство lhs = rhs.

Если тензор является скаляром, он будет пропущен, поскольку скаляры пока не поддерживаются.

Можно рассматривать как последовательность двух операций выбора по индексу, поэтому ограничения генерируются соответствующим образом

Создаётся ограничение: input = output

Аналогично reshape, но с дополнительным условием для шагов

Можно рассматривать как последовательность двух операций выбора по индексу, поэтому ограничения генерируются соответствующим образом

Проверяет, находится ли индекс i в пределах списка размера n :param i: индекс :param n: размер списка

Рассматривается случай, когда у одного входа меньше измерений, чем у другого, поэтому к результатам широковещательного преобразования применяется дополнение

Применяет широковещательное преобразование к измерению «index» тензора tensor_input1.

Генерирует ограничения для двух последних измерений свёртки или результата maxpool :param constraint: CalcConv или CalcMaxPool :param d: Список выходных измерений

Создаёт ограничения равенства для случая, когда широковещательное преобразование не выполняется :param e1: Вход 1 :param e2: Вход 2 :param e11: Вход 1 после широковещательного преобразования :param e12: Вход 2 после широковещательного преобразования :param d1: Переменные, хранящие измерения e1 :param d2: Переменные, хранящие измерения e2 :param d11: Переменные, хранящие измерения e11 :param d12: Переменные, хранящие измерения e22

Рассматривает все возможные варианты измерений входа (число или динамическое значение), затем генерирует соответствующие ограничения с использованием умножения или взятия остатка в зависимости от варианта. Рассматриваемые здесь варианты представляют собой декартово произведение случаев, когда значение входа равно dyn или не равно dyn.

Моделирует широковещательное преобразование для e1 и e2 и возвращает результаты соответственно в e11 и e12.

param constraint:

Ограничение согласованности тензоров

param constraint:

Наименьшая верхняя грань тензоров

Генерирует списки DVar для представления измерений тензоров :param num_tensors: Требуемое число тензоров :param dim_size: Число измерений каждого тензора :param counter: Переменная для отслеживания

Генерирует ограничения широковещательного преобразования, предполагая отсутствие дополнения.

Генерирует все варианты равенства или неравенства dyn для my_list :param my_list: Список измерений тензора

Преобразует бинарные ограничения для измерений

Преобразует бинарные ограничения для тензоров

Преобразует ограничения широковещательного преобразования

Преобразует ограничения maxpool

Преобразует ограничения flatten

Преобразует конъюнкции

Преобразует наименьшую верхнюю грань для измерений в ограничения равенства

Преобразует дизъюнкции

Преобразует наименьшую верхнюю грань для тензоров.

Преобразует ограничения reshape

Генерирует ограничения для проверки делимости целевых измерений на входные :param target: Целевые измерения :param dim: Входные измерения

param d1:

вход 1

Преобразует ограничение в более простое ограничение.

Генерирует равенство вида: t = [a1, ..., an], а затем генерирует ограничения для проверки допустимости заданного индекса при данном размере тензора.

Если индекс является кортежем, результатом будет тензор TODO: нужно проверить, так ли это для всех моделей HF

Ограничения учитывают заданный размер тензора, проверяют допустимость индекса и, если он допустим, генерируют ограничение для замены входного измерения требуемым измерением

Аналогично последовательности из двух операций index-select

Проверяет, допустим ли индекс в списке заданных измерений

Если число экземпляров среза превышает число измерений, возникает ошибка типа, поэтому возвращается False

Генерирует ограничения для проверки делимости входных измерений на целевые :param target: Целевые измерения :param dim: Входные измерения

Размеры входа и выхода должны совпадать, за исключением двух последних измерений входа, которые соответствуют ширине и высоте

Применяет правило вывода типа для сложения.

Для операций, в которых форма входа совпадает с формой выхода

Для экземпляра BatchNorm2D и узла проверяются следующие условия: - тип входа можно расширить до тензора размера 4: t = (x_1, x_2, x_3, x_4) - тип текущего узла можно расширить до тензора размера 4: t' = (x_1', x_2', x_3', x_4') - t согласуется с t' - x_2 согласуется с num_features модуля - x_2' согласуется с num_features модуля тип выхода: наиболее точный тип среди t и t'

Применяет широковещательное преобразование к обоим заданным типам, чтобы они согласовывались друг с другом, и возвращает два новых результирующих типа

Для вычисления h_in и w_out согласно документации conv2D

Для экземпляра Conv2D и узла проверяются следующие условия: - тип входа можно расширить до тензора размера 4: t = (x_1, x_2, H, W) - тип текущего узла можно расширить до тензора размера 4: t' = (x_1', x_2', x_3', x_4') - x_2 согласуется с in_channels модуля - пусть o = (x_1, out_channels, H_out, W_out), тогда выходом будет наименьшая верхняя грань o и существующего типа узла t'.

Ограничения равенства задаются между первым измерением входа и выхода

По возможности представляет выход в виде алгебраического выражения относительно входа

Для поэлементных операций; обрабатывает широковещательное преобразование.

По возможности расширяет тип до требуемого числа измерений тензора. В противном случае вызывает ошибку.

Для операций, в которых совпадают первые два измерения формы входа и выхода

Применяет информацию о форме flatten к входу, а затем вычисляет наименьшую верхнюю грань полученного типа и существующего типа

Генерирует ограничения равенства между измерениями входа и выхода, которые не участвуют в операции flatten

Текущее правило getattr обрабатывает только атрибут shape. Его можно расширить для работы с другими атрибутами. Наиболее общий тип, которым мы располагаем, — «Dyn», но систему можно расширить, добавив другие типы, например тип для представления форм

Возвращает наиболее точный тип, согласующийся с заданными типами

Возвращает параметр, заданный target, если он существует; в противном случае вызывает ошибку.

Проверяет, удовлетворяет ли тип входного тензора условиям линейной операции, и возвращает тип выхода на основе in_features и out_features, заданных module_instance

Применяет информацию о форме к входу, а затем вычисляет наименьшую верхнюю грань полученного типа и существующего типа

Ограничения равенства задаются между первым измерением входа и выхода

Применяет информацию о форме maxpool2d к входу; это затрагивает два последних измерения

Для экземпляра MaxPool2D и узла проверяются следующие условия:

Формы входа и выхода должны совпадать.

При отсутствии динамических измерений правило проверяет, что произведение элементов типа тензора-аргумента равно произведению элементов требуемой формы.

Проверяем, что измерения для операций transpose находятся в пределах допустимого диапазона для типа тензора узла

Для заданного раздела проверить с помощью BFS, существует ли в этом разделе циклическая зависимость

Для заданного списка разделов и двух его разделов объединить эти два раздела в новый, добавив его в список, и удалить прежние два раздела из списка

Для заданного списка разделов изменить идентификатор раздела, его родительские и дочерние элементы для каждого раздела

Для заданного списка разделов отметить родительские и дочерние элементы каждого раздела

Устанавливает точку останова в сгенерированном коде Python для gm.

Проверить, являются ли все заданные узлы попарно независимыми по данным.

Определить, зависит ли один узел от другого в torch.fx.Graph.

Преобразование графа, объединяющее операции умножения матриц с одинаковым операндом справа в одну большую операцию умножения матриц.

A следует проверять перед B. Порядок разрешения конфликтов задаётся tie_breaker; по умолчанию используется hash

Рациональный порядок проверки сигнатур, от первой до последней. Топологическая сортировка рёбер, заданных с помощью edge и supercedes

a — более конкретное совпадение, чем b

Восстановить объект Python с помощью подстановки >>> class Foo(object): .

Зарегистрировать стандартные операции унификации и восстановления для класса. Для определения природы терма используются его тип и атрибуты __dict__ или __slots__. См. также: >>> class A(object): .

Унифицировать два объекта Python. Унифицируются их типы и атрибуты __dict__ >>> class Foo(object): .

Все пары сигнатур, для которых A неоднозначна с B

A совместима с B, но ни одна из них не является строго более конкретной

Существует список аргументов, удовлетворяющий одновременно A и B

A следует проверять перед B. Порядок разрешения конфликтов задаётся tie_breaker; по умолчанию используется hash

Рациональный порядок проверки сигнатур, от первой до последней. Топологическая сортировка рёбер, заданных с помощью edge и supercedes

Сигнатура, устраняющая неоднозначность

A совместима с B и строго более конкретна

Диспетчеризация функции по типам входных данных. Поддерживает диспетчеризацию по всем позиционным аргументам.

Является ли func методом? Важно, чтобы это работало после определения метода, но до определения класса.

Выдать предупреждение при обнаружении неоднозначности.

Устаревший интерфейс для временного отключения упорядочивания.

Устаревший интерфейс для временного возобновления упорядочивания.

Строковое представление сигнатуры типов >>> str_signature((int, float)) 'int, float'

Проверить, соответствует ли набор входных типов вариативной сигнатуре.

Текст предупреждений о неоднозначности

Проверить, является ли тип obj вариативным.

Преобразовать контейнер в хешируемую форму >>> freeze(1) 1 >>> freeze([1, 2]) (1, 2) >>> freeze({1: 2}) # doctest: +SKIP frozenset([(1, 2)])

Изменяет направление словаря зависимостей.

Транзитивный dict.get >>> d = {1: 2, 2: 3, 3: 4} >>> d.get(1) 2 >>> transitive_get(1, d) 4

Контекстный менеджер для логических переменных

Проверка равенства для использования в поиске неподвижных точек.

Преобразовать ограничения равенства в формат, подходящий для библиотеки унификации.

Дважды вызывает наш механизм символьного вывода типов.

Один раз вызывает наш механизм символьного вывода типов.

Применять наиболее общий унификатор ко всем типам в графе до достижения неподвижной точки.

Применить наиболее общий унификатор к типу

Применить унификацию к набору ограничений равенства