tf.nn.dropout

Вычисляет дропаут: случайным образом обнуляет элементы, чтобы предотвратить переобучение.

tf.nn.dropout(
    x, rate, noise_shape=None, seed=None, name=None
)

Примечание: Поведение дропаута изменилось между TensorFlow 1.x и 2.x. При преобразовании кода 1.x используйте именованные аргументы, чтобы обеспечить сохранение согласованного поведения.

См. также: tf.keras.layers.Dropout для слоя дропаута.

Дропаут полезен для регуляризации моделей DNN. Элементы входных данных случайным образом устанавливаются в ноль (а другие элементы масштабируются). Это побуждает каждый узел быть независимо полезным, поскольку он не может полагаться на выход других узлов.

Более точно: с вероятностью rate элементы x устанавливаются в 0. Остальные элементы масштабируются на 1.0 / (1 - rate), чтобы сохранить ожидаемое значение.

tf.random.set_seed(0)
x = tf.ones([3,5])
tf.nn.dropout(x, rate = 0.5, seed = 1).numpy()
array([[2., 0., 0., 2., 2.],
     [2., 2., 2., 2., 2.],
     [2., 0., 2., 0., 2.]], dtype=float32)

tf.random.set_seed(0)
x = tf.ones([3,5])
tf.nn.dropout(x, rate = 0.8, seed = 1).numpy()
array([[0., 0., 0., 5., 5.],
     [0., 5., 0., 5., 0.],
     [5., 0., 5., 0., 5.]], dtype=float32)

tf.nn.dropout(x, rate = 0.0) == x
<tf.Tensor: shape=(3, 5), dtype=bool, numpy=
  array([[ True,  True,  True,  True,  True],
         [ True,  True,  True,  True,  True],
         [ True,  True,  True,  True,  True]])>

По умолчанию каждый элемент сохраняется или отбрасывается независимо. Если noise_shape указано, он должен быть совместимым с широковещательной передачей с формой x, и только измерения с noise_shape[i] == shape(x)[i] будут принимать независимые решения. Это полезно для отбрасывания целых каналов из изображения или последовательности. Например:

tf.random.set_seed(0)
x = tf.ones([3,10])
tf.nn.dropout(x, rate = 2/3, noise_shape=[1,10], seed=1).numpy()
array([[0., 0., 0., 3., 3., 0., 3., 3., 3., 0.],
     [0., 0., 0., 3., 3., 0., 3., 3., 3., 0.],
     [0., 0., 0., 3., 3., 0., 3., 3., 3., 0.]], dtype=float32)