tf.nn.dropout

Вычисляет дропаут: случайным образом обнуляет элементы, чтобы предотвратить переобучение.

tf.nn.dropout(
    x, rate, noise_shape=None, seed=None, name=None
)

Примечание: Поведение дропаута изменилось между TensorFlow 1.x и 2.x. При конвертации кода 1.x используйте именованные аргументы, чтобы поведение оставалось неизменным.

См. также: tf.keras.layers.Dropout для слоя дропаута.

Дропаут полезен для регуляризации моделей DNN. Элементы входных данных случайным образом обнуляются (а остальные элементы масштабируются). Это побуждает каждый узел быть независимо полезным, поскольку он не может полагаться на выход других узлов.

Более точно: с вероятностью rate элементы x обнуляются. Остальные элементы масштабируются на 1.0 / (1 - rate), чтобы сохранить ожидаемое значение.

tf.random.set_seed(0)
x = tf.ones([3,5])
tf.nn.dropout(x, rate = 0.5, seed = 1).numpy()
array([[2., 0., 0., 2., 2.],
     [2., 2., 2., 2., 2.],
     [2., 0., 2., 0., 2.]], dtype=float32)

tf.random.set_seed(0)
x = tf.ones([3,5])
tf.nn.dropout(x, rate = 0.8, seed = 1).numpy()
array([[0., 0., 0., 5., 5.],
     [0., 5., 0., 5., 0.],
     [5., 0., 5., 0., 5.]], dtype=float32)

tf.nn.dropout(x, rate = 0.0) == x
<tf.Tensor: shape=(3, 5), dtype=bool, numpy=
  array([[ True,  True,  True,  True,  True],
         [ True,  True,  True,  True,  True],
         [ True,  True,  True,  True,  True]])>

По умолчанию каждый элемент сохраняется или отбрасывается независимо. Если noise_shape указано, оно должно быть совместимым с широковещательной передачей с формой x, и только размерности с noise_shape[i] == shape(x)[i] будут принимать независимые решения. Это полезно для отбрасывания целых каналов из изображения или последовательности. Например:

tf.random.set_seed(0)
x = tf.ones([3,10])
tf.nn.dropout(x, rate = 2/3, noise_shape=[1,10], seed=1).numpy()
array([[0., 0., 0., 3., 3., 0., 3., 3., 3., 0.],
     [0., 0., 0., 3., 3., 0., 3., 3., 3., 0.],
     [0., 0., 0., 3., 3., 0., 3., 3., 3., 0.]], dtype=float32)