tf.compat.v1.tpu.CrossShardOptimizer

Оптимизатор, усредняющий градиенты между сегментами TPU.

Наследует от: Optimizer

tf.compat.v1.tpu.CrossShardOptimizer(
    opt,
    reduction=losses.Reduction.MEAN,
    name='CrossShardOptimizer',
    group_assignment=None
)

Используется в блокнотах

Методы

apply_gradients

Посмотреть исходный код

apply_gradients(
    grads_and_vars, global_step=None, name=None
)

Применяет градиенты к переменным.

Вызывает tpu_ops.cross_replica_sum() для суммирования вкладов градиентов между репликами, а затем применяет исходный оптимизатор.

compute_gradients

Посмотреть исходный код

compute_gradients(
    loss, var_list=None, **kwargs
)

Вычисляет градиенты функции "loss" для переменных из "var_list".

Этот метод просто оборачивает compute_gradients() исходного оптимизатора. Градиенты будут агрегированы в apply_gradients(), чтобы пользователь мог при необходимости изменять их, например выполнять отсечение по глобальной норме для каждой реплики. Глобальная норма агрегированных градиентов может быть нежелательной, поскольку большие градиенты одной реплики могут негативно повлиять на градиенты других реплик.

Если CrossShardOptimizer создан с параметром reduction == losses.Reduction.MEAN (значение по умолчанию), эта функция масштабирует loss на 1.0 / num_shards перед вычислением градиентов. Если предположить, что оптимизатор использует стандартную реализацию compute_gradients(), градиенты масштабированной функции потерь будут масштабированы на 1.0 / num_shards относительно градиентов исходной функции потерь. Этот коэффициент масштабирования важен, поскольку apply_gradients() суммирует градиенты между сегментами, а не усредняет их. Однако этот коэффициент необходимо учитывать при отсечении нормы градиентов или выполнении другой постобработки.

get_name

Посмотреть исходный код

get_name()

get_slot

Посмотреть исходный код

get_slot(
    *args, **kwargs
)

Возвращает слот с именем "name", созданный оптимизатором для "var".

Этот метод просто оборачивает get_slot() фактического оптимизатора.

get_slot_names

Посмотреть исходный код

get_slot_names(
    *args, **kwargs
)

Возвращает список имён слотов, созданных Optimizer.

Этот метод просто оборачивает get_slot_names() фактического оптимизатора.

minimize

Посмотреть исходный код

minimize(
    loss,
    global_step=None,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    name=None,
    grad_loss=None
)

Добавляет операции для минимизации loss путём обновления var_list.

Этот метод просто объединяет вызовы compute_gradients() и apply_gradients(). Если перед применением градиентов необходимо выполнить их обработку, вызовите compute_gradients() и apply_gradients() отдельно, а не используйте эту функцию.

Если eager execution включён, loss должна быть функцией Python без аргументов, вычисляющей минимизируемое значение. Минимизация (и вычисление градиента) выполняется относительно элементов var_list, если параметр не равен None, или относительно всех обучаемых переменных, созданных при выполнении функции loss. При включённом eager execution параметры gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss игнорируются.

variables

Посмотреть исходный код

variables()

Перенаправление к переменным базового оптимизатора.