PReLU

class torch.nn.PReLU(num_parameters=1, init=0.25, device=None, dtype=None) [source]

Применяет поэлементную функцию:

$$\text{PReLU}(x) = \max(0,x) + a * \min(0,x)$$

или

$$\text{PReLU}(x) = \begin{cases} x, & \text{ if } x \geq 0 \\ ax, & \text{ otherwise } \end{cases}$$

Здесь $a$ — обучаемый параметр. При вызове без аргументов, nn.PReLU() использует один параметр $a$ для всех входных каналов. Если вызывается с nn.PReLU(nChannels), для каждого входного канала используется отдельный $a$.

Примечание

Не следует использовать сглаживание весов при обучении $a$ для хорошей производительности.

Примечание

Размерность канала — это 2-я размерность входа. Если у входа меньше 2 размерностей, то размерность канала отсутствует, а количество каналов = 1.

Параметры

• num_parameters (int) – количество обучаемых $a$. Хотя на вход подается целое число, допустимы только два значения: 1 или количество входных каналов. Значение по умолчанию: 1
• init (float) – начальное значение $a$. Значение по умолчанию: 0.25

Форма:

• Вход: $( *)$, где * означает любое количество дополнительных измерений.
• Выход: $(*)$, форма такая же, как у входа.

Переменные

weight (Tensor) – обучаемые веса формы (num_parameters).

Примеры:

>>> m = nn.PReLU()
>>> input = torch.randn(2)
>>> output = m(input)