RMSNorm

class torch.nn.RMSNorm(normalized_shape, eps=None, elementwise_affine=True, device=None, dtype=None) [исходный код]

Применяет нормализацию слоя по среднеквадратичному значению к мини-пакету входных данных.

Этот слой реализует операцию, описанную в статье Нормализация слоя по среднеквадратичному значению

$$y_i = \frac{x_i}{\mathrm{RMS}(x)} * \gamma_i, \quad \text{where} \quad \text{RMS}(x) = \sqrt{\epsilon + \frac{1}{n} \sum_{i=1}^{n} x_i^2}$$

Среднеквадратичное значение вычисляется по последним D измерениям, где D — размерность normalized_shape. Например, если normalized_shape — (3, 5) (двумерная форма), среднеквадратичное значение вычисляется по последним 2 измерениям входных данных.

Параметры:

• normalized_shape (int или list или torch.Size) –

  форма входных данных, ожидаемая для входа размера

  $$[* \times \text{normalized\_shape}[0] \times \text{normalized\_shape}[1] \times \ldots \times \text{normalized\_shape}[-1]]$$

  Если указано одно целое число, оно рассматривается как список из одного элемента, и этот модуль выполняет нормализацию по последнему измерению, размер которого должен совпадать с этим числом.

• eps (float, необязательно) – значение, добавляемое к знаменателю для численной устойчивости. Если не указано, используется машинный эпсилон типа вычислений (opmath): для входных данных fp16/bf16 и fp32 используется torch.finfo(torch.float32).eps, а для входных данных fp64 — torch.finfo(torch.float64).eps. Значение по умолчанию: None
• elementwise_affine (bool) – логическое значение: если оно равно True, у этого модуля есть обучаемые аффинные параметры для каждого элемента, инициализированные единицами (для весов). Значение по умолчанию: True.

Форма:

• Вход: $(N, *)$
• Выход: $(N, *)$ (та же форма, что и у входных данных)

Примеры:

>>> rms_norm = nn.RMSNorm([2, 3])
>>> input = torch.randn(2, 2, 3)
>>> rms_norm(input)

extra_repr() [исходный код]

Возвращает дополнительное представление модуля.

Тип возвращаемого значения:

str

forward(x) [исходный код]

Выполняет прямой проход.

Тип возвращаемого значения:

Tensor

reset_parameters() [исходный код]

Сбрасывает параметры согласно их инициализации, использованной в __init__.