tf.compat.v1.tpu.CrossShardOptimizer

Оптимизатор, усредняющий градиенты по фрагментам TPU.

Наследуется от: Optimizer

tf.compat.v1.tpu.CrossShardOptimizer(
    opt,
    reduction=losses.Reduction.MEAN,
    name='CrossShardOptimizer',
    group_assignment=None
)

Используется в ноутбуках

Методы

apply_gradients

Просмотреть исходный код

apply_gradients(
    grads_and_vars, global_step=None, name=None
)

Применение градиентов к переменным.

Вызывает tpu_ops.cross_replica_sum() для суммирования вкладов градиентов по репликам, а затем применяет реальный оптимизатор.

compute_gradients

Просмотреть исходный код

compute_gradients(
    loss, var_list=None, **kwargs
)

Вычисление градиентов "loss" для переменных в "var_list".

Просто оборачивает compute_gradients() от реального оптимизатора. Градиенты будут агрегированы в apply_gradients(), чтобы пользователь мог изменять градиенты, например, применять обрезку по глобальной норме с учетом каждой реплики, если это необходимо. Глобальная норма с агрегированными градиентами может быть плохой, так как большие градиенты одной реплики могут повлиять на градиенты других реплик.

Когда CrossShardOptimizer создается с reduction == losses.Reduction.MEAN (по умолчанию), эта функция масштабирует loss на 1.0 / num_shards перед вычислением градиентов. Предполагая, что оптимизатор использует реализацию compute_gradients() по умолчанию, градиенты масштабированной loss масштабируются на 1.0 / num_shards по сравнению с градиентами исходной loss. Этот коэффициент масштабирования важен, поскольку apply_gradients() суммирует градиенты по фрагментам, а не усредняет их. Однако коэффициент масштабирования необходимо учитывать при обрезке нормы градиентов или выполнении других постпроцессингов.

get_name

Просмотреть исходный код

get_name()

get_slot

Просмотреть исходный код

get_slot(
    *args, **kwargs
)

Возвращает слот с именем "name", созданный для "var" оптимизатором.

Просто оборачивает get_slot() фактического оптимизатора.

get_slot_names

Просмотреть исходный код

get_slot_names(
    *args, **kwargs
)

Возвращает список имён слотов, созданных Optimizer.

Просто оборачивает get_slot_names() фактического оптимизатора.

minimize

Просмотреть исходный код

minimize(
    loss,
    global_step=None,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    name=None,
    grad_loss=None
)

Добавление операций для минимизации loss путем обновления var_list.

Этот метод просто объединяет вызовы compute_gradients() и apply_gradients(). Если вы хотите обработать градиент перед применением, вызовите compute_gradients() и apply_gradients() явно вместо использования этой функции.

При включенном режиме жадного выполнения, loss должна быть функцией Python, которая не принимает аргументов и вычисляет значение, которое нужно минимизировать. Минимизация (и вычисление градиента) выполняется относительно элементов var_list, если оно не равно None, иначе относительно всех обучаемых переменных, созданных во время выполнения функции loss. gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss игнорируются при включенном режиме жадного выполнения.

variables

Просмотреть исходный код

variables()

Передача переменных из базового оптимизатора.