Случайная структура

class torch.nn.utils.prune.RandomStructured(amount, dim=- 1) [source]

Случайное обрезание целых (в настоящее время не обрезанных) каналов в тензоре.

Параметры:

• amount (int или float) – количество параметров для обрезки. Если float, должно быть от 0,0 до 1,0 и представлять собой долю параметров для обрезки. Если int, оно представляет собой абсолютное число параметров для обрезки.
• dim (int, необязательно) – индекс измерения, по которому мы определяем каналы для обрезки. По умолчанию: -1.

classmethod apply(module, name, amount, dim=- 1) [source]

Добавляет предварительный хук для обработки, который позволяет обрезать тензор на лету и перепараметризовать тензор относительно исходного тензора и маски обрезки.

Параметры:

• module (nn.Module) – модуль, содержащий тензор для обрезки
• name (str) – имя параметра в module, на который будет действовать обрезка.
• amount (int или float) – количество параметров для обрезки. Если float, должно быть от 0,0 до 1,0 и представлять собой долю параметров для обрезки. Если int, оно представляет собой абсолютное число параметров для обрезки.
• dim (int, необязательно) – индекс измерения, по которому мы определяем каналы для обрезки. По умолчанию: -1.

apply_mask(module)

Просто выполняет умножение между параметром, который обрезается, и сгенерированной маской. Извлекает маску и исходный тензор из модуля и возвращает обрезанную версию тензора.

Параметры:

module (nn.Module) – модуль, содержащий тензор для обрезки

Возвращаемое значение:

обрезанная версия входного тензора

Тип возвращаемого значения:

pruned_tensor (torch.Tensor)

compute_mask(t, default_mask) [source]

Вычисляет и возвращает маску для входного тензора t. Начиная с базовой default_mask (которая должна быть маской из единиц, если тензор еще не был обрезан), генерирует случайную маску для применения поверх default_mask путем случайного обнуления каналов по указанному dim тензора.

Параметры:

• t (torch.Tensor) – тензор, представляющий параметр для обрезки
• default_mask (torch.Tensor) – Базовая маска из предыдущих итераций обрезки, которая должна быть соблюдена после применения новой маски. Имеет такие же размеры, как t.

Возвращаемое значение:

маска для применения к t, с такими же размерами, как t

Тип возвращаемого значения:

mask (torch.Tensor)

Исключения:

IndexError – если self.dim >= len(t.shape)

prune(t, default_mask=None, importance_scores=None)

Вычисляет и возвращает обрезанную версию входного тензора t в соответствии с правилом обрезки, указанным в compute_mask().

Параметры:

• t (torch.Tensor) – тензор для обрезки (с такими же размерами, как default_mask).
• importance_scores (torch.Tensor) – тензор оценок важности (с такой же формой, как t) используемый для вычисления маски для обрезки t. Значения в этом тензоре указывают на важность соответствующих элементов в t который обрезается. Если не указано или равно None, используется тензор t.
• default_mask (torch.Tensor, необязательно) – маска с предыдущей итерации обрезки, если таковая имеется. Для учета при определении, на какой части тензора должна действовать обрезка. Если None, по умолчанию используется маска из единиц.

Возвращаемое значение:

обрезанная версия тензора t.

remove(module)

Удаляет перепараметризацию обрезки из модуля. Обрезанный параметр с именем name остается постоянно обрезанным, и параметр с именем name+'_orig' удаляется из списка параметров. Аналогично, буфер с именем name+'_mask' удаляется из буферов.

Примечание

Сама обрезка НЕ отменяется или не отменяется!