tf.clip_by_global_norm

Ограничивает значения нескольких тензоров по отношению суммы их норм.

tf.clip_by_global_norm(
    t_list, clip_norm, use_norm=None, name=None
)

Принимая на вход кортеж или список тензоров t_list, и коэффициент ограничения clip_norm, эта операция возвращает список ограниченных тензоров list_clipped и глобальную норму (global_norm) всех тензоров в t_list. При необходимости, если вы уже вычислили глобальную норму для t_list, вы можете указать глобальную норму с помощью use_norm.

Для выполнения ограничения значения t_list[i] устанавливаются в:

t_list[i] * clip_norm / max(global_norm, clip_norm)

где:

global_norm = sqrt(sum([l2norm(t)**2 for t in t_list]))

Если clip_norm > global_norm, то элементы в t_list остаются без изменений, в противном случае они все уменьшаются на глобальный коэффициент.

Если global_norm == infinity, то элементы в t_list все устанавливаются в NaN, чтобы указать, что произошла ошибка.

Любые элементы в t_list, которые имеют тип None, игнорируются.

Это правильный способ выполнения ограничения градиентов (например, см. Pascanu et al., 2012 (pdf)).

Однако, он медленнее, чем clip_by_norm(), потому что все параметры должны быть готовы перед выполнением операции ограничения.