Dropout

class torch.nn.Dropout(p=0.5, inplace=False) [source]

Во время обучения случайным образом обнуляет некоторые элементы входного тензора с вероятностью p, используя выборки из распределения Бернулли. Каждый канал будет обнуляться независимо при каждом вызове прямого распространения.

Этот метод доказал свою эффективность в качестве метода регуляризации и предотвращения соадаптации нейронов, как описано в статье Improving neural networks by preventing co-adaptation of feature detectors.

Кроме того, выходные данные масштабируются на коэффициент $\frac{1}{1-p}$ во время обучения. Это означает, что во время оценки модуль просто вычисляет тождественную функцию.

Параметры

• p (float) – вероятность обнуления элемента. По умолчанию: 0.5
• inplace (bool) – Если установлено значение True, данная операция будет выполнена на месте. По умолчанию: False

Форма:

• Вход: $(*)$. Вход может иметь любую форму
• Выход: $(*)$. Выход имеет ту же форму, что и вход

Примеры:

>>> m = nn.Dropout(p=0.2)
>>> input = torch.randn(20, 16)
>>> output = m(input)