Выпадение

class torch.nn.Dropout(p=0.5, inplace=False) [source]

Во время обучения случайным образом обнуляет некоторые элементы входного тензора с вероятностью p, используя выборки из распределения Бернулли. Каждый канал будет обнуляться независимо при каждом вызове прямого прохода.

Этот метод доказал свою эффективность в качестве техники регуляризации и предотвращения коадаптации нейронов, как описано в статье Улучшение нейронных сетей путем предотвращения коадаптации детекторов признаков .

Кроме того, выходные значения масштабируются на коэффициент $\frac{1}{1-p}$ во время обучения. Это означает, что во время оценки модуль просто вычисляет тождественную функцию.

Параметры:

• p (float) – вероятность обнуления элемента. По умолчанию: 0.5
• inplace (bool) – Если установлено в True, операция будет выполнена на месте. По умолчанию: False

Форма:

• Вход: $(*)$. Вход может иметь любую форму
• Выход: $(*)$. Выход имеет ту же форму, что и вход

Примеры:

>>> m = nn.Dropout(p=0.2)
>>> input = torch.randn(20, 16)
>>> output = m(input)