AlphaDropout

class torch.nn.modules.dropout.AlphaDropout(p=0.5, inplace=False) [исходный код]

Применяет альфа-дропаут к входным данным.

Альфа-дропаут — это разновидность дропаута, которая сохраняет свойство само-нормализации. Для входных данных с нулевым средним и единичным стандартным отклонением выходные данные альфа-дропаута сохраняют исходные среднее и стандартное отклонение входных данных. Альфа-дропаут используется вместе с функцией активации SELU, которая гарантирует, что выходные данные имеют нулевое среднее и единичное стандартное отклонение.

Во время обучения некоторые элементы входного тензора случайным образом маскируются с вероятностью p с использованием выборок из распределения Бернулли. Элементы, которые необходимо замаскировать, выбираются случайно при каждом прямом проходе, а затем масштабируются и смещаются, чтобы сохранить нулевое среднее и единичное стандартное отклонение.

Во время оценки модуль просто вычисляет тождественную функцию.

Подробнее см. в статье Самонормализующиеся нейронные сети .

Параметры:

• p (float) – вероятность отбрасывания элемента. Значение по умолчанию: 0.5
• inplace (bool, необязательный) – Если задано значение True, операция будет выполняться на месте

Форма:

• Вход: $(*)$. Входные данные могут иметь любую форму
• Выход: $(*)$. Выходные данные имеют ту же форму, что и входные

Примеры:

>>> m = nn.AlphaDropout(p=0.2)
>>> input = torch.randn(20, 16)
>>> output = m(input)

forward(input) [исходный код]

Выполняет прямой проход.

Тип возвращаемого значения:

Tensor