SiLU

class torch.nn.modules.activation.SiLU(inplace=False) [исходный код]

Поэлементно применяет функцию Sigmoid Linear Unit (SiLU).

Функция SiLU также известна как функция swish.

$$\text{silu}(x) = x * \sigma(x), \text{where } \sigma(x) \text{ is the logistic sigmoid.}$$

Примечание

См. Gaussian Error Linear Units (GELUs), где впервые была предложена SiLU (Sigmoid Linear Unit), а также Линейные блоки с сигмоидным взвешиванием для аппроксимации функций нейронных сетей в обучении с подкреплением и Swish: функция активации с самоуправляемым гейтингом, где позднее исследовалась SiLU.

Форма:

• Вход: $(*)$, где $*$ означает любое количество измерений.
• Выход: $(*)$, той же формы, что и вход.

Примеры:

>>> m = nn.SiLU()
>>> input = torch.randn(2)
>>> output = m(input)

extra_repr() [исходный код]

Возвращает дополнительное представление модуля.

Тип возвращаемого значения:

str

forward(input) [исходный код]

Выполняет прямой проход.

Тип возвращаемого значения:

Tensor