tf.clip_by_norm

Обрезает значения тензора до максимальной L2-нормы.

tf.clip_by_norm(
    t, clip_norm, axes=None, name=None
)

Учитывая тензор t, и максимальное значение обрезки clip_norm, эта операция нормализует t, чтобы его L2-норма была меньше или равна clip_norm, по измерениям, указанным в axes. В частности, в случае по умолчанию, когда для вычисления используются все измерения, если L2-норма t уже меньше или равна clip_norm, то t не изменяется. Если L2-норма больше clip_norm, то эта операция возвращает тензор того же типа и формы, что и t, со значениями, установленными следующим образом:

t * clip_norm / l2norm(t)

В этом случае L2-норма выходного тензора составляет clip_norm.

В качестве другого примера, если t является матрицей и axes == [1], то каждая строка выходного значения будет иметь L2-норму меньше или равную clip_norm. Если axes == [0], то каждая колонка выходного значения будет обрезанной.

Пример кода:

some_nums = tf.constant([[1, 2, 3, 4, 5]], dtype=tf.float32)
tf.clip_by_norm(some_nums, 2.0).numpy()
array([[0.26967996, 0.5393599 , 0.80903983, 1.0787199 , 1.3483998 ]],
      dtype=float32)

Эта операция обычно используется для обрезки градиентов перед их применением с оптимизатором. Большая часть данных градиента представляет собой набор тензоров с различными формами для разных частей модели. Поэтому это распространённый случай использования:

# Get your gradients after training
loss_value, grads = grad(model, features, labels)

# Apply some clipping
grads = [tf.clip_by_norm(g, norm)
             for g in grads]

# Continue on with training
optimizer.apply_gradients(grads)