FeatureAlphaDropout

class torch.nn.FeatureAlphaDropout(p=0.5, inplace=False) [source]

Случайным образом обнуляет целые каналы.

Канал — это карта признаков, например $j$-й канал $i$-го образца во входном пакете — это тензор $\text{input}[i, j]$ входного тензора). В отличие от обычного Dropout, который устанавливает активации в ноль, здесь активации устанавливаются в отрицательное значение насыщения функции активации SELU. Подробнее см. в статье Self-Normalizing Neural Networks .

При каждом прямом проходе каждый элемент независимо обнуляется для каждого образца с вероятностью p на основе выборок из распределения Бернулли. Элементы, подлежащие обнулению, выбираются случайным образом при каждом прямом проходе, а затем масштабируются и смещаются для сохранения нулевого среднего и единичной дисперсии.

Обычно входные данные поступают из модулей nn.AlphaDropout.

Как описано в статье Efficient Object Localization Using Convolutional Networks , если соседние пиксели внутри карт признаков сильно коррелируют (как это обычно бывает в ранних свёрточных слоях), то i.i.d.-dropout не будет регуляризовать активации и вместо этого лишь приведёт к фактическому снижению скорости обучения.

В этом случае nn.AlphaDropout() поможет обеспечить независимость карт признаков, и следует использовать именно его.

Параметры:

• p (float, необязательно) – вероятность обнуления элемента. По умолчанию: 0.5
• inplace (bool, необязательно) – если задано значение True, операция выполняется на месте

Форма:

• Входные данные: $(N, C, D, H, W)$ или $(C, D, H, W)$.
• Выходные данные: $(N, C, D, H, W)$ или $(C, D, H, W)$ (такая же форма, как у входных данных).

Примеры:

>>> m = nn.FeatureAlphaDropout(p=0.2)
>>> input = torch.randn(20, 16, 4, 32, 32)
>>> output = m(input)

forward(input) [source]

Выполняет прямой проход.

Тип возвращаемого значения:

Tensor