RMSNorm

class torch.nn.modules.normalization.RMSNorm(normalized_shape, eps=None, elementwise_affine=True, device=None, dtype=None) [исходный код]

Применяет нормализацию слоя по среднеквадратичному значению к мини-пакету входных данных.

Этот слой реализует операцию, описанную в статье Нормализация слоя по среднеквадратичному значению

$$y_i = \frac{x_i}{\mathrm{RMS}(x)} * \gamma_i, \quad \text{where} \quad \text{RMS}(x) = \sqrt{\epsilon + \frac{1}{n} \sum_{i=1}^{n} x_i^2}$$

Среднеквадратичное значение вычисляется по последним D измерениям, где D — это размерность normalized_shape. Например, если normalized_shape равно (3, 5) (двумерная форма), среднеквадратичное значение вычисляется по последним двум измерениям входных данных.

Параметры:

• normalized_shape (int or list or torch.Size) –

  форма входных данных для ожидаемого входа размером

  $$[* \times \text{normalized\_shape}[0] \times \text{normalized\_shape}[1] \times \ldots \times \text{normalized\_shape}[-1]]$$

  Если используется одно целое число, оно рассматривается как список из одного элемента, и этот модуль выполняет нормализацию по последнему измерению, которое должно иметь указанный размер.

• eps (float, необязательно) – значение, добавляемое к знаменателю для численной устойчивости. Если не указано, используется машинная точность типа вычислений (opmath): для входных данных fp16/bf16 и fp32 используется torch.finfo(torch.float32).eps, а для входных данных fp64 — torch.finfo(torch.float64).eps. По умолчанию: None
• elementwise_affine (bool) – логическое значение: если оно равно True, у этого модуля есть обучаемые аффинные параметры для каждого элемента, инициализированные единицами (для весов). По умолчанию: True.

Форма:

• Вход: $(N, *)$
• Выход: $(N, *)$ (такая же форма, как у входных данных)

Примеры:

>>> rms_norm = nn.RMSNorm([2, 3])
>>> input = torch.randn(2, 2, 3)
>>> rms_norm(input)

extra_repr() [исходный код]

Возвращает дополнительное представление модуля.

Тип возвращаемого значения:

str

forward(x) [исходный код]

Выполняет прямой проход.

Тип возвращаемого значения:

Tensor

reset_parameters() [исходный код]

Сбрасывает параметры в соответствии с их инициализацией, использованной в __init__.