PReLU

class torch.nn.modules.activation.PReLU(num_parameters=1, init=0.25, device=None, dtype=None) [исходный код]

Применяет поэлементную функцию PReLU.

$$\text{PReLU}(x) = \max(0,x) + a * \min(0,x)$$

или

$$\text{PReLU}(x) = \begin{cases} x, & \text{ if } x \ge 0 \\ ax, & \text{ otherwise } \end{cases}$$

Здесь $a$ — обучаемый параметр. Если вызвать без аргументов, nn.PReLU() использует один параметр $a$ для всех входных каналов. Если вызвать с nn.PReLU(nChannels), для каждого входного канала используется отдельный параметр $a$.

Примечание

Для хорошей производительности при обучении $a$ не следует использовать затухание весов.

Примечание

Размерность каналов — вторая размерность входных данных. Если входные данные имеют менее двух размерностей, размерность каналов отсутствует, а число каналов равно 1.

Параметры:

• num_parameters (int) – число параметров $a$, которые нужно обучить. Хотя на вход принимается значение типа int, допустимы только два значения: 1 или число каналов во входных данных. По умолчанию: 1
• init (float) – начальное значение $a$. По умолчанию: 0.25

Форма:

• Вход: $( *)$, где * означает любое число дополнительных размерностей.
• Выход: $(*)$, форма совпадает с формой входных данных.

Переменные:

weight (Tensor) – обучаемые веса формы (num_parameters).

Примеры:

>>> m = nn.PReLU()
>>> input = torch.randn(2)
>>> output = m(input)

extra_repr() [исходный код]

Возвращает дополнительное представление модуля.

Тип возвращаемого значения:

str

forward(input) [исходный код]

Выполняет прямой проход.

Тип возвращаемого значения:

Tensor

reset_parameters() [исходный код]

Сбрасывает параметры в соответствии с используемой в __init__ инициализацией.