tf.clip_by_average_norm

Вырезает значения тензора до максимальной средней L2-нормы. (устаревшее)

tf.clip_by_average_norm(
    t, clip_norm, name=None
)

Учитывая тензор t, и максимальное значение обрезки clip_norm, эта операция нормализует t, так что его средняя L2-норма меньше или равна clip_norm. Конкретно, если средняя L2-норма уже меньше или равна clip_norm, то t не изменяется. Если средняя L2-норма больше clip_norm, то эта операция возвращает тензор того же типа и формы, что и t, со значениями, установленными следующим образом:

t * clip_norm / l2norm_avg(t)

В этом случае средняя L2-норма выходного тензора составляет clip_norm.

Эта операция обычно используется для обрезки градиентов перед их применением с оптимизатором.