Dropout

class torch.nn.Dropout(p=0.5, inplace=False) [source]

Во время обучения случайным образом обнуляет некоторые элементы входного тензора с вероятностью p.

Обнуляемые элементы выбираются независимо при каждом прямом вызове и определяются согласно распределению Бернулли.

При каждом прямом вызове каждый канал обнуляется независимо.

Этот метод доказал свою эффективность в качестве способа регуляризации и предотвращения коадаптации нейронов, как описано в статье Improving neural networks by preventing co-adaptation of feature detectors .

Кроме того, во время обучения выходные данные масштабируются на коэффициент $\frac{1}{1-p}$. Это означает, что во время оценки модуль просто вычисляет тождественную функцию.

Параметры:

• p (float) – вероятность обнуления элемента. По умолчанию: 0.5
• inplace (bool) – Если задано значение True, операция выполняется на месте. По умолчанию: False

Форма:

• Вход: $(*)$. Входные данные могут иметь любую форму
• Выход: $(*)$. Выходные данные имеют ту же форму, что и входные

Примеры:

>>> m = nn.Dropout(p=0.2)
>>> input = torch.randn(20, 16)
>>> output = m(input)

forward(input) [source]

Выполняет прямой проход.

Тип возвращаемого значения:

Tensor