tf.clip_by_norm

Ограничивает значения тензора до максимальной L2-нормы.

tf.clip_by_norm(
    t, clip_norm, axes=None, name=None
)

Для данного тензора t, и максимального значения ограничения clip_norm, эта операция нормализует t таким образом, чтобы его L2-норма была меньше или равна clip_norm, по указанным в axes измерениям. В частности, в случае по умолчанию, когда для вычисления используются все измерения, если L2-норма t уже меньше или равна clip_norm, тогда t не изменяется. Если L2-норма больше clip_norm, тогда эта операция возвращает тензор того же типа и формы, что и t, со значениями, установленными следующим образом:

t * clip_norm / l2norm(t)

В этом случае L2-норма тензора результата составляет clip_norm.

Например, если t — это матрица и axes == [1], то каждая строка результата будет иметь L2-норму меньше или равную clip_norm. Если axes == [0] вместо этого, каждая колонка результата будет ограничена.

Пример кода:

some_nums = tf.constant([[1, 2, 3, 4, 5]], dtype=tf.float32)
tf.clip_by_norm(some_nums, 2.0).numpy()
array([[0.26967996, 0.5393599 , 0.80903983, 1.0787199 , 1.3483998 ]],
      dtype=float32)

Эта операция обычно используется для ограничения градиентов перед их применением с оптимизатором. Большинство данных градиентов представляет собой набор тензоров различной формы для разных частей модели. Таким образом, это часто используется:

# Get your gradients after training
loss_value, grads = grad(model, features, labels)

# Apply some clipping
grads = [tf.clip_by_norm(g, norm)
             for g in grads]

# Continue on with training
optimizer.apply_gradients(grads)