tf.clip_by_norm

Ограничивает значения тензора максимальной L2-нормой.

tf.clip_by_norm(
    t, clip_norm, axes=None, name=None
)

Используется в блокнотах

Для заданного тензора t и максимального значения ограничения clip_norm эта операция нормализует t так, чтобы его L2-норма была меньше или равна clip_norm по измерениям, указанным в axes. В частности, в случае по умолчанию, когда для вычисления используются все измерения, если L2-норма t уже меньше или равна clip_norm, то t не изменяется. Если L2-норма больше clip_norm, эта операция возвращает тензор того же типа и формы, что и t, со значениями:

t * clip_norm / l2norm(t)

В этом случае L2-норма выходного тензора равна clip_norm.

Другой пример: если t — матрица и axes == [1], то L2-норма каждой строки выходного тензора будет меньше или равна clip_norm. Если вместо этого axes == [0], ограничение будет применено к каждому столбцу выходного тензора.

Пример кода:

some_nums = tf.constant([[1, 2, 3, 4, 5]], dtype=tf.float32)
tf.clip_by_norm(some_nums, 2.0).numpy()
array([[0.26967996, 0.5393599 , 0.80903983, 1.0787199 , 1.3483998 ]],
      dtype=float32)

Эта операция обычно используется для ограничения градиентов перед их применением с помощью оптимизатора. Большинство данных градиентов представляют собой набор тензоров разной формы для разных частей модели. Поэтому часто используется следующий шаблон:

# Get your gradients after training
loss_value, grads = grad(model, features, labels)

# Apply some clipping
grads = [tf.clip_by_norm(g, norm)
             for g in grads]

# Continue on with training
optimizer.apply_gradients(grads)