tf.compat.v1.train.SyncReplicasOptimizer

Класс для синхронизации, агрегирования градиентов и передачи их оптимизатору.

Наследуется от: Optimizer

tf.compat.v1.train.SyncReplicasOptimizer(
    opt, replicas_to_aggregate, total_num_replicas=None, variable_averages=None,
    variables_to_average=None, use_locking=False, name='sync_replicas'
)

Этот класс устарел. Для синхронного обучения используйте стратегии распределения Distribution Strategies.

В типичной асинхронной среде обучения часто бывают устаревшие градиенты. Например, при асинхронном обучении с N репликами градиенты будут применяться к переменным N раз независимо. В зависимости от скорости обучения каждой реплики, некоторые градиенты могут быть рассчитаны по копиям переменных из нескольких предыдущих шагов (в среднем N-1 шаг). Этот оптимизатор избегает устаревших градиентов, собирая градиенты со всех реплик, усредняя их и применяя к переменным единым шагом, после чего реплики могут получить новые переменные и продолжить.

Создаются следующие аккумуляторы/очереди:

• N gradient accumulators, по одной на каждую обучаемую переменную. Градиенты передаются в них, и главный рабочий процесс ожидает, пока не будет собрано достаточно градиентов, а затем усредняет их перед применением к переменным. Аккумулятор отбрасывает все устаревшие градиенты (подробнее в операции аккумулятора).
• 1 token очередь, в которую оптимизатор помещает новое значение global_step после обновления всех переменных.

Создается следующая локальная переменная:

• sync_rep_local_step, по одной на каждую реплику. Сравнивается со значением global_step в каждом аккумуляторе для проверки устарелости градиентов.

Оптимизатор добавляет в граф узлы для сбора градиентов и приостанавливает обучение, пока переменные не будут обновлены. Для задачи Parameter Server:

1. Для каждой переменной создаётся аккумулятор, и каждая реплика помещает градиенты в аккумуляторы вместо непосредственного применения их к переменным.
2. Каждый аккумулятор усредняет градиенты, как только будет накоплено достаточно градиентов (replicas_to_aggregate).
3. Применяет усреднённые градиенты к переменным.
4. Только после обновления всех переменных увеличивает global step.
5. Только после шага 4, помещает global_step в token_queue, по одному для каждой реплики рабочего процесса. Рабочие процессы могут теперь получить значение global step, использовать его для обновления своей локальной переменной local_step и начать следующую партию. Обратите внимание, что некоторые рабочие процессы могут обработать несколько мини-пачек, а некоторые — не обработать ни одной. Это происходит потому, что каждый рабочий процесс получает мини-пачки, пока существует токен. Если какой-то рабочий процесс застрял по какой-либо причине и не использует токен, другой рабочий процесс может его использовать.

Для реплик:

1. Начать шаг: получить переменные и вычислить градиенты.
2. После вычисления градиентов поместить их в аккумуляторы градиентов. Каждый аккумулятор проверит устарелость и отбросит устаревшие.
3. После помещения всех градиентов извлечь обновленное значение global_step из очереди токенов и записать этот шаг в локальную переменную local_step. Обратите внимание, что это фактически барьер.
4. Начать следующую партию.

Использование

# Create any optimizer to update the variables, say a simple SGD:
opt = GradientDescentOptimizer(learning_rate=0.1)

# Wrap the optimizer with sync_replicas_optimizer with 50 replicas: at each
# step the optimizer collects 50 gradients before applying to variables.
# Note that if you want to have 2 backup replicas, you can change
# total_num_replicas=52 and make sure this number matches how many physical
# replicas you started in your job.
opt = tf.compat.v1.train.SyncReplicasOptimizer(opt, replicas_to_aggregate=50,
                               total_num_replicas=50)

# Some models have startup_delays to help stabilize the model but when using
# sync_replicas training, set it to 0.

# Now you can call `minimize()` or `compute_gradients()` and
# `apply_gradients()` normally
training_op = opt.minimize(total_loss, global_step=self.global_step)


# You can create the hook which handles initialization and queues.
sync_replicas_hook = opt.make_session_run_hook(is_chief)

В программе обучения каждый рабочий процесс выполнит train_op, как если бы он не был синхронизирован.

with training.MonitoredTrainingSession(
    master=workers[worker_id].target, is_chief=is_chief,
    hooks=[sync_replicas_hook]) as mon_sess:
  while not mon_sess.should_stop():
    mon_sess.run(training_op)

Для использования SyncReplicasOptimizer с Estimator, необходимо передать sync_replicas_hook при вызове fit.

my_estimator = DNNClassifier(..., optimizer=opt)
my_estimator.fit(..., hooks=[sync_replicas_hook])

Методы

apply_gradients

Посмотреть исходный код

apply_gradients(
    grads_and_vars, global_step=None, name=None
)

Применить градиенты к переменным.

В нём реализована большая часть синхронизации, а также обертка apply_gradients() реального оптимизатора.

compute_gradients

Посмотреть исходный код

compute_gradients(
    *args, **kwargs
)

Вычислить градиенты «loss» для переменных в «var_list».

Просто оборачивает compute_gradients() от реального оптимизатора. Градиенты будут агрегированы в apply_gradients(), так что пользователь может изменить градиенты, например, применить обрезку по глобальной норме для каждой реплики, если это необходимо. Глобальная норма с агрегированными градиентами может быть плохой, так как огромные градиенты одной реплики могут повлиять на градиенты других реплик.

get_chief_queue_runner

Посмотреть исходный код

get_chief_queue_runner()

Возвращает QueueRunner для выполнения главным процессом.

Включает операции для синхронизации реплик: агрегирование градиентов, применение к переменным, инкремент global step, вставка токенов в очередь токенов.

Обратите внимание, что этот метод может быть вызван только после вызова apply_gradients(), который фактически генерирует этот queuerunner.

get_init_tokens_op

Посмотреть исходный код

get_init_tokens_op(
    num_tokens=-1
)

Возвращает операцию для заполнения sync_token_queue токенами.

Должна выполняться в начале главного/синхронизирующего потока, чтобы даже если total_num_replicas меньше replicas_to_aggregate, модель могла продолжить работу, так как реплики могут вычислить несколько шагов на одно обновление переменных. Убедитесь в том, что: num_tokens >= replicas_to_aggregate - total_num_replicas.

get_name

Посмотреть исходный код

get_name()

get_slot

Посмотреть исходный код

get_slot(
    *args, **kwargs
)

Возвращает слот с именем «name», созданный для «var» оптимизатором.

Просто оборачивает get_slot() фактического оптимизатора.

get_slot_names

Просмотр исходного кода

get_slot_names(
    *args, **kwargs
)

Возвращает список имён слотов, созданных Optimizer.

Это просто оболочка для get_slot_names() из фактического оптимизатора.

make_session_run_hook

Просмотр исходного кода

make_session_run_hook(
    is_chief, num_tokens=-1
)

Создаёт хук для обработки операций SyncReplicasHook, таких как инициализация.

minimize

Просмотр исходного кода

minimize(
    loss, global_step=None, var_list=None, gate_gradients=GATE_OP,
    aggregation_method=None, colocate_gradients_with_ops=False, name=None,
    grad_loss=None
)

Добавляет операции для минимизации loss путём обновления var_list.

Этот метод просто объединяет вызовы compute_gradients() и apply_gradients(). Если вы хотите обработать градиент перед его применением, вызовите compute_gradients() и apply_gradients() явно вместо использования этой функции.

Совместимость с режимом Eager

При включённом режиме Eager исполнения loss должна быть Python-функцией без аргументов, вычисляющей значение для минимизации. Минимизация (и вычисление градиента) производится по отношению к элементам var_list если оно не равно None, иначе - по отношению ко всем обучаемым переменным, созданным во время выполнения функции loss. gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss игнорируются при включённом режиме Eager исполнения.

variables

Просмотр исходного кода

variables()

Извлекает список переменных оптимизатора в графе по умолчанию.

Это оболочка для variables() из фактического оптимизатора. Она не включает локальный шаг SyncReplicasOptimizer.

Переменные класса

• GATE_GRAPH = 2
• GATE_NONE = 0
• GATE_OP = 1