AlphaDropout

class torch.nn.AlphaDropout(p=0.5, inplace=False) [source]

Применяет альфа-дропаут к входным данным.

Альфа-дропаут — это разновидность дропаута, которая сохраняет свойство самонормализации. Для входных данных с нулевым средним значением и единичным стандартным отклонением выходные данные альфа-дропаута сохраняют исходные среднее значение и стандартное отклонение входных данных. Альфа-дропаут используется совместно с функцией активации SELU, которая обеспечивает нулевое среднее значение и единичное стандартное отклонение выходных данных.

Во время обучения некоторые элементы входного тензора случайным образом маскируются с вероятностью p на основе выборок из распределения Бернулли. Маскируемые элементы выбираются случайным образом при каждом прямом проходе, а значения масштабируются и сдвигаются для сохранения нулевого среднего значения и единичного стандартного отклонения.

Во время оценки модуль просто выполняет тождественное преобразование.

Подробнее см. в статье Самонормализующиеся нейронные сети .

Параметры:

• p (float) – вероятность исключения элемента. По умолчанию: 0.5
• inplace (bool, необязательный) – Если задано значение True, операция будет выполняться на месте

Форма:

• Вход: $(*)$. Входные данные могут иметь любую форму
• Выход: $(*)$. Выходные данные имеют ту же форму, что и входные

Примеры:

>>> m = nn.AlphaDropout(p=0.2)
>>> input = torch.randn(20, 16)
>>> output = m(input)

forward(input) [source]

Выполняет прямой проход.

Тип возвращаемого значения:

Tensor