PReLU

class torch.nn.PReLU(num_parameters=1, init=0.25, device=None, dtype=None) [исходный код]

Применяет поэлементную функцию PReLU.

$$\text{PReLU}(x) = \max(0,x) + a * \min(0,x)$$

или

$$\text{PReLU}(x) = \begin{cases} x, & \text{ if } x \ge 0 \\ ax, & \text{ otherwise } \end{cases}$$

Здесь $a$ — обучаемый параметр. При вызове без аргументов nn.PReLU() использует один параметр $a$ для всех входных каналов. При вызове с nn.PReLU(nChannels) для каждого входного канала используется отдельное значение $a$.

Примечание

Для достижения хорошей производительности при обучении $a$ не следует использовать затухание весов.

Примечание

Размерность канала — вторая размерность входных данных. Если размерность входных данных меньше 2, размерности канала нет, а число каналов равно 1.

Параметры:

• num_parameters (int) – количество обучаемых значений $a$. Хотя на вход принимается int, допустимы только два значения: 1 или количество входных каналов. По умолчанию: 1
• init (float) – начальное значение $a$. По умолчанию: 0.25

Форма:

• Вход: $( *)$, где * означает любое количество дополнительных размерностей.
• Выход: $(*)$, той же формы, что и входные данные.

Переменные:

weight (Tensor) – обучаемые веса формы (num_parameters).

Примеры:

>>> m = nn.PReLU()
>>> input = torch.randn(2)
>>> output = m(input)

extra_repr() [исходный код]

Возвращает дополнительное представление модуля.

Тип возвращаемого значения:

str

forward(input) [исходный код]

Выполняет прямой проход.

Тип возвращаемого значения:

Tensor

reset_parameters() [исходный код]

Сбрасывает параметры в соответствии с инициализацией, использованной в __init__.