PReLU

class torch.nn.PReLU(num_parameters=1, init=0.25, device=None, dtype=None) [source]

Применяет элементную функцию:

$$\text{PReLU}(x) = \max(0,x) + a * \min(0,x)$$

или

$$\text{PReLU}(x) = \begin{cases} x, & \text{ if } x \geq 0 \\ ax, & \text{ otherwise } \end{cases}$$

Здесь $a$ — обучаемый параметр. При вызове без аргументов, nn.PReLU() использует один параметр $a$ для всех входных каналов. Если вызов осуществляется с nn.PReLU(nChannels), для каждого входного канала используется отдельный $a$.

Примечание

Распада веса не следует использовать при обучении $a$ для хорошей производительности.

Примечание

Размерность канала — это 2-я размерность входных данных. Если вход имеет размерность < 2, то размерности канала нет, а количество каналов = 1.

Параметры:

• num_parameters (int) — количество обучаемых $a$. Хотя на вход подается целое число, допустимы только два значения: 1 или количество каналов на входе. По умолчанию: 1
• init (float) — начальное значение $a$. По умолчанию: 0,25

Форма:

• Вход: $( *)$, где * означает любое количество дополнительных размерностей.
• Выход: $(*)$, такая же форма, как у входа.

Переменные:

weight (Tensor) — обучаемые веса с формой (num_parameters).

Примеры:

>>> m = nn.PReLU()
>>> input = torch.randn(2)
>>> output = m(input)