tf.compat.v1.train.SyncReplicasOptimizer

Класс для синхронизации, агрегирования градиентов и передачи их оптимизатору.

Наследуется от: Optimizer

tf.compat.v1.train.SyncReplicasOptimizer(
    opt,
    replicas_to_aggregate,
    total_num_replicas=None,
    variable_averages=None,
    variables_to_average=None,
    use_locking=False,
    name='sync_replicas'
)

Этот класс устарел. Для синхронного обучения, пожалуйста, используйте Стратегии распределения.

В типичной асинхронной среде обучения часто встречаются устаревшие градиенты. Например, с асинхронным обучением с N репликами градиенты будут применяться к переменным N раз независимо. В зависимости от скорости обучения каждой реплики, некоторые градиенты могут быть вычислены на основе копий переменной из нескольких предыдущих шагов (в среднем N-1 шагов назад). Этот оптимизатор избегает устаревших градиентов, собирая градиенты со всех реплик, усредняя их, а затем применяя их к переменным за один раз, после чего реплики могут получить новые переменные и продолжить.

Создаются следующие аккумуляторы/очереди:

• N gradient accumulators, по одной на каждую переменную для обучения. Градиенты помещаются в них, и главный рабочий ждёт, пока не будет собрано достаточно градиентов, а затем усредняет их перед применением к переменным. Аккумулятор отбросит все устаревшие градиенты (подробнее в операции аккумулятора).
• 1 token очередь, куда оптимизатор помещает новое значение global_step после обновления всех переменных.

Создаётся следующая локальная переменная:

• sync_rep_local_step, по одной на каждую реплику. Сравнивается со значением global_step в каждом аккумуляторе для проверки устаревания градиентов.

Оптимизатор добавляет узлы в граф, чтобы собирать градиенты и приостанавливать обучение, пока переменные не будут обновлены. Для задания сервера параметров:

1. Для каждой переменной создаётся аккумулятор, и каждая реплика помещает градиенты в аккумуляторы вместо непосредственного применения их к переменным.
2. Каждый аккумулятор усредняет значения, когда накоплено достаточно градиентов (replicas_to_aggregate).
3. Применяет усреднённые градиенты к переменным.
4. Только после обновления всех переменных увеличивается значение global_step.
5. Только после шага 4, отправляет global_step в token_queue, по одному для каждой рабочей реплики. Рабочие теперь могут получить значение global_step, использовать его для обновления своей локальной переменной local_step и начать следующую партию. Обратите внимание, что некоторые рабочие могут потреблять несколько мини-пакетов, а некоторые могут не потреблять ни одного. Это происходит потому, что каждый рабочий получает мини-пакеты, пока существует маркер. Если какой-либо рабочий застрял по какой-либо причине и не потребляет маркер, другой рабочий может его использовать.

Для реплик:

1. Начать шаг: получить переменные и вычислить градиенты.
2. После вычисления градиентов, поместить их в аккумуляторы градиентов. Каждый аккумулятор проверит устаревание и отбросит устаревшие.
3. После отправки всех градиентов извлечь обновлённое значение global_step из очереди маркеров и записать этот шаг в свою переменную local_step. Обратите внимание, что это фактически барьер.
4. Начать следующую партию.

Использование

# Create any optimizer to update the variables, say a simple SGD:
opt = GradientDescentOptimizer(learning_rate=0.1)

# Wrap the optimizer with sync_replicas_optimizer with 50 replicas: at each
# step the optimizer collects 50 gradients before applying to variables.
# Note that if you want to have 2 backup replicas, you can change
# total_num_replicas=52 and make sure this number matches how many physical
# replicas you started in your job.
opt = tf.compat.v1.train.SyncReplicasOptimizer(opt, replicas_to_aggregate=50,
                               total_num_replicas=50)

# Some models have startup_delays to help stabilize the model but when using
# sync_replicas training, set it to 0.

# Now you can call `minimize()` or `compute_gradients()` and
# `apply_gradients()` normally
training_op = opt.minimize(total_loss, global_step=self.global_step)


# You can create the hook which handles initialization and queues.
sync_replicas_hook = opt.make_session_run_hook(is_chief)

В программе обучения каждый рабочий запустит train_op так, как если бы он не был синхронизирован.

with training.MonitoredTrainingSession(
    master=workers[worker_id].target, is_chief=is_chief,
    hooks=[sync_replicas_hook]) as mon_sess:
  while not mon_sess.should_stop():
    mon_sess.run(training_op)

Чтобы использовать SyncReplicasOptimizer с Estimator, необходимо отправить sync_replicas_hook при вызове fit.

my_estimator = DNNClassifier(..., optimizer=opt)
my_estimator.fit(..., hooks=[sync_replicas_hook])

Методы

apply_gradients

Посмотреть исходный код

apply_gradients(
    grads_and_vars, global_step=None, name=None
)

Применение градиентов к переменным.

Этот метод содержит большую часть реализации синхронизации и также оборачивает apply_gradients() из реального оптимизатора.

compute_gradients

Посмотреть исходный код

compute_gradients(
    *args, **kwargs
)

Вычисление градиентов "loss" для переменных в "var_list".

Это просто оборачивает compute_gradients() из реального оптимизатора. Градиенты будут агрегированы в apply_gradients(), так что пользователь может изменить градиенты, например, с помощью обрезки с использованием глобальной нормы по реплике, если это необходимо. Глобальная норма с агрегированными градиентами может быть плохой, так как огромные градиенты одной реплики могут повлиять на градиенты других реплик.

get_chief_queue_runner

Посмотреть исходный код

get_chief_queue_runner()

Возвращает QueueRunner для выполнения главным узлом.

Это включает операции для синхронизации реплик: агрегирование градиентов, применение к переменным, увеличение глобального шага, вставка маркеров в очередь маркеров.

Обратите внимание, что это можно вызвать только после вызова apply_gradients(), который фактически генерирует этот queuerunner.

get_init_tokens_op

Посмотреть исходный код

get_init_tokens_op(
    num_tokens=-1
)

Возвращает операцию для заполнения очереди sync_token_queue маркерами.

Предполагается, что это выполняется в начале потока главного/синхронного узла, чтобы даже если total_num_replicas меньше, чем replicas_to_aggregate, модель могла продолжить, так как реплики могут вычислять несколько шагов за одно обновление переменных. Убедитесь в том, что: num_tokens >= replicas_to_aggregate - total_num_replicas.

get_name

Посмотреть исходный код

get_name()

get_slot

Посмотреть исходный код

get_slot(
    *args, **kwargs
)

Возвращает слот с именем "name", созданный для "var" оптимизатором.

Это просто оборачивает get_slot() из фактического оптимизатора.

get_slot_names

Просмотреть исходный код

get_slot_names(
    *args, **kwargs
)

Возвращает список имён слотов, созданных Optimizer.

Это просто оболочка вокруг get_slot_names() из самого оптимизатора.

make_session_run_hook

Просмотреть исходный код

make_session_run_hook(
    is_chief, num_tokens=-1
)

Создаёт хук для обработки операций SyncReplicasHook, таких как инициализация.

minimize

Просмотреть исходный код

minimize(
    loss,
    global_step=None,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    name=None,
    grad_loss=None
)

Добавляет операции для минимизации loss путём обновления var_list.

Этот метод просто объединяет вызовы compute_gradients() и apply_gradients(). Если нужно обработать градиент перед его применением, вызовите compute_gradients() и apply_gradients() явно вместо использования этой функции.

При включённом eager execution, loss должна быть Python-функцией без аргументов, вычисляющей значение для минимизации. Минимизация (и вычисление градиента) выполняется относительно элементов var_list , если не None, иначе относительно всех обучаемых переменных, созданных во время выполнения функции loss . gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss игнорируются при включённом eager execution.

variables

Просмотреть исходный код

variables()

Возвращает список переменных оптимизатора в текущем графе.

Это оболочка вокруг variables() из самого оптимизатора. Она не включает локальный шаг SyncReplicasOptimizer.