tf.train.Supervisor

Помощник обучения, который сохраняет контрольные точки моделей и вычисляет сводки.

tf.train.Supervisor(
    graph=None, ready_op=USE_DEFAULT, ready_for_local_init_op=USE_DEFAULT,
    is_chief=True, init_op=USE_DEFAULT, init_feed_dict=None,
    local_init_op=USE_DEFAULT, logdir=None, summary_op=USE_DEFAULT,
    saver=USE_DEFAULT, global_step=USE_DEFAULT, save_summaries_secs=120,
    save_model_secs=600, recovery_wait_secs=30, stop_grace_secs=120,
    checkpoint_basename='model.ckpt', session_manager=None,
    summary_writer=USE_DEFAULT, init_fn=None, local_init_run_options=None
)

Этот класс устарел. Пожалуйста, используйте tf.compat.v1.train.MonitoredTrainingSession вместо него.

Supervisor — это небольшой оболочка вокруг Coordinator, Saver, и SessionManager, которая обрабатывает общие потребности программ обучения TensorFlow.

Использование для одной программы

with tf.Graph().as_default():
  ...add operations to the graph...
  # Create a Supervisor that will checkpoint the model in '/tmp/mydir'.
  sv = Supervisor(logdir='/tmp/mydir')
  # Get a TensorFlow session managed by the supervisor.
  with sv.managed_session(FLAGS.master) as sess:
    # Use the session to train the graph.
    while not sv.should_stop():
      sess.run(<my_train_op>)

Внутри блока with sv.managed_session() все переменные в графе были инициализированы. Кроме того, были запущены несколько служб для сохранения контрольных точек модели и добавления сводок в журнал событий.

Если программа аварийно завершается и перезапускается, управляемая сессия автоматически повторно инициализирует переменные из последней контрольной точки.

Supervisor уведомляется о любом исключении, сгенерированном одной из служб. После возникновения исключения should_stop() возвращает True. В этом случае цикл обучения также должен остановиться. Вот почему цикл обучения должен проверять sv.should_stop().

Исключения, указывающие на то, что входные данные обучения исчерпаны, tf.errors.OutOfRangeError, также заставляют sv.should_stop() вернуть True, но не перевыбрасывают их из блока with: они указывают на нормальное завершение.

Использование для нескольких реплик

Для обучения с репликами вы развертываете одну и ту же программу в Cluster. Одна из задач должна быть идентифицирована как главная: задача, которая обрабатывает инициализацию, контрольные точки, сводки и восстановление. Другие задачи зависят от главной задачи для этих служб.

Единственное изменение, которое вам нужно внести в код программы для одной программы, — указать, работает ли программа как главная.

# Choose a task as the chief. This could be based on server_def.task_index,
# or job_def.name, or job_def.tasks. It's entirely up to the end user.
# But there can be only one *chief*.
is_chief = (server_def.task_index == 0)
server = tf.distribute.Server(server_def)

with tf.Graph().as_default():
  ...add operations to the graph...
  # Create a Supervisor that uses log directory on a shared file system.
  # Indicate if you are the 'chief'
  sv = Supervisor(logdir='/shared_directory/...', is_chief=is_chief)
  # Get a Session in a TensorFlow server on the cluster.
  with sv.managed_session(server.target) as sess:
    # Use the session to train the graph.
    while not sv.should_stop():
      sess.run(<my_train_op>)

В задаче главной Supervisor работает точно так же, как в первом примере выше. В других задачах sv.managed_session() ожидает, пока Модель не будет инициализирована, прежде чем возвращать сессию коду обучения. Задачи, не являющиеся главными, зависят от главной задачи для инициализации модели.

Если одна из задач аварийно завершается и перезапускается, managed_session() проверяет, инициализирована ли Модель. Если да, то он просто создает сессию и возвращает ее коду обучения, который продолжает выполняться нормально. Если модель требуется инициализировать, главная задача позаботится об её повторной инициализации; другие задачи просто ждут, пока модель будет инициализирована.

Примечание: Эта изменённая программа по-прежнему работает нормально как программа для одной задачи. Программа для одной задачи помечает себя как главную.

Какую строку master использовать

Независимо от того, работаете ли вы на своём компьютере или в кластере, вы можете использовать следующие значения для флага --master:

• Указание '' запрашивает сессию в процессе, которая не использует удалённый вызов процедур.

• Указание 'local' запрашивает сессию, которая использует «Интерфейс мастера» на основе удалённого вызова процедур для запуска программ TensorFlow. См. tf.train.Server.create_local_server для получения дополнительных сведений.

• Указание 'grpc://hostname:port' запрашивает сессию, которая использует интерфейс удалённого вызова процедур для конкретного узла и также позволяет мастеру в процессе доступа к удалённым рабочим TensorFlow. Часто целесообразно передать server.target (для некоторого tf.distribute.Server с именем `server`).

Расширенное использование

Запуск дополнительных служб

managed_session() запускает службы Контрольные точки и Сводки (потоки). Если вам нужны дополнительные службы, вы можете просто запустить их в блоке, управляемом managed_session().

Пример: запустите поток для вывода потерь. Мы хотим, чтобы этот поток выполнялся каждые 60 секунд, поэтому мы запускаем его с sv.loop().

...
sv = Supervisor(logdir='/tmp/mydir')
with sv.managed_session(FLAGS.master) as sess:
  sv.loop(60, print_loss, (sess, ))
  while not sv.should_stop():
    sess.run(my_train_op)

Запуск меньшего количества служб

managed_session() запускает потоки "summary" и "checkpoint", которые используют необязательные summary_op и saver, переданные в конструктор, или созданные по умолчанию Supervisor. Если вы хотите запустить свою логику сводок и сохранения контрольных точек, отключите эти службы, передав None в параметры summary_op и saver.

Пример: Создайте сводки вручную каждые 100 шагов в главной задаче.

# Create a Supervisor with no automatic summaries.
sv = Supervisor(logdir='/tmp/mydir', is_chief=is_chief, summary_op=None)
# As summary_op was None, managed_session() does not start the
# summary thread.
with sv.managed_session(FLAGS.master) as sess:
  for step in xrange(1000000):
    if sv.should_stop():
      break
    if is_chief and step % 100 == 0:
      # Create the summary every 100 chief steps.
      sv.summary_computed(sess, sess.run(my_summary_op))
    else:
      # Train normally
      sess.run(my_train_op)

Настройка инициализации модели

managed_session() поддерживает инициализацию модели только путём выполнения init_op или восстановления из последней контрольной точки. Если у вас есть особые потребности в инициализации, см., как указать local_init_op при создании Supervisor. Вы также можете использовать SessionManager напрямую для создания сессии и проверки возможности её автоматической инициализации.

Методы

Loop

Просмотреть исходный код

Loop(
    timer_interval_secs, target, args=None, kwargs=None
)

Запускает LooperThread, который периодически вызывает функцию.

Если timer_interval_secs равно None, поток вызывает target(*args, **kwargs) повторно. В противном случае он вызывает её каждые timer_interval_secs секунд. Поток завершается при запросе остановки.

Запущенный поток добавляется в список потоков, управляемых надзирателем, поэтому его не нужно передавать методу stop().

PrepareSession

Просмотреть исходный код

PrepareSession(
    master='', config=None, wait_for_checkpoint=False, max_wait_secs=7200,
    start_standard_services=True
)

Убедитесь, что модель готова к использованию.

Создайте сессию в 'master', восстанавливая или инициализируя модель по мере необходимости, или дождитесь готовности сессии. Если выполняется как главный и start_standard_service установлено в True, также вызовите менеджер сессий для запуска стандартных сервисов.

RequestStop

Просмотреть исходный код

RequestStop(
    ex=None
)

Запросить остановку потоков координатором.

См. Coordinator.request_stop().

ShouldStop

Просмотреть исходный код

ShouldStop()

Проверить, было ли сказано координатору остановиться.

См. Coordinator.should_stop().

StartQueueRunners

Просмотреть исходный код

StartQueueRunners(
    sess, queue_runners=None
)

Запустить потоки для QueueRunners.

Обратите внимание, что обработчики очередей, собранные в ключе графа QUEUE_RUNNERS, уже запускаются автоматически при создании сессии с надзирателем, поэтому, если у вас нет несобранных обработчиков очередей для запуска, вам не нужно вызывать это явно.

Совместимость с eager execution

Очереди несовместимы с eager execution. Для ввода данных при включённом режиме eager execution используйте API tf.data.

StartStandardServices

Просмотреть исходный код

StartStandardServices(
    sess
)

Запустить стандартные сервисы для 'sess'.

Это запускает сервисы в фоновом режиме. Запускаемые сервисы зависят от параметров конструктора и могут включать:

• Поток сводок, вычисляющий сводки каждые save_summaries_secs.
• Поток контрольных точек, сохраняющий модель каждые save_model_secs.
• Поток счётчика шагов, измеряющий время выполнения шага.

Stop

Просмотреть исходный код

Stop(
    threads=None, close_summary_writer=True, ignore_live_threads=False
)

Остановить сервисы и координатор.

Это не закрывает сессию.

StopOnException

Просмотреть исходный код

StopOnException()

Обработчик контекста для остановки надзирателя при возникновении исключения.

См. Coordinator.stop_on_exception().

SummaryComputed

Просмотр исходного кода

SummaryComputed(
    sess, summary, global_step=None
)

Указывает, что сводка была вычислена.

WaitForStop

Просмотр исходного кода

WaitForStop()

Ожидание остановки координатора.

loop

Просмотр исходного кода

loop(
    timer_interval_secs, target, args=None, kwargs=None
)

Запуск потока LooperThread, который периодически вызывает функцию.

Если timer_interval_secs равно None, поток вызывает target(*args, **kwargs) повторно. В противном случае он вызывает его каждые timer_interval_secs секунды. Поток завершается при запросе остановки.

Запущенный поток добавляется в список потоков, управляемых Supervisor, поэтому его не нужно передавать методу stop().

managed_session

Просмотр исходного кода

@contextlib.contextmanager
managed_session(
    master='', config=None, start_standard_services=True, close_summary_writer=True
)

Возвращает менеджер контекста для управляемой сессии.

Этот менеджер контекста создаёт и автоматически восстанавливает сессию. Он необязательно запускает стандартные службы, которые обрабатывают контрольные точки и сводки. Он отслеживает исключения, поднятые из блока with или из служб и останавливает Supervisor по мере необходимости.

Менеджер контекста обычно используется следующим образом:

def train():
  sv = tf.compat.v1.train.Supervisor(...)
  with sv.managed_session(<master>) as sess:
    for step in xrange(..):
      if sv.should_stop():
        break
      sess.run(<my training op>)
      ...do other things needed at each training step...

Исключение, поднятое из блока with или одного из потоков обслуживания, снова поднимается при выходе из блока. Это делается после остановки всех потоков и закрытия сессии. Например, исключение AbortedError, поднятое в случае прерывания одного из рабочих процессов в распределённой модели, снова поднимается при выходе из блока.

Если вы хотите повторить цикл обучения в случае прерывания, вы можете сделать это следующим образом:

def main(...):
  while True
    try:
      train()
    except tf.errors.Aborted:
      pass

В качестве особого случая исключения, используемые для управления потоком, такие как OutOfRangeError, указывающие на то, что очереди ввода исчерпаны, не поднимаются снова из блока with: они указывают на чистое завершение цикла обучения и считаются нормальным завершением.

prepare_or_wait_for_session

Просмотр исходного кода

prepare_or_wait_for_session(
    master='', config=None, wait_for_checkpoint=False, max_wait_secs=7200,
    start_standard_services=True
)

Убедитесь, что модель готова к использованию.

Создайте сессию на 'master', восстанавливая или инициализируя модель по мере необходимости, или подождите, пока сессия не будет готова. Если выполняется как главный и start_standard_service установлено в True, также вызовите менеджер сессии, чтобы запустить стандартные службы.

request_stop

Просмотр исходного кода

request_stop(
    ex=None
)

Запрос остановки потоков координатором.

См. Coordinator.request_stop().

should_stop

Просмотр исходного кода

should_stop()

Проверка, было ли указано координатору остановить работу.

См. Coordinator.should_stop().

start_queue_runners

Просмотр исходного кода

start_queue_runners(
    sess, queue_runners=None
)

Запуск потоков для QueueRunners.

Обратите внимание, что очереди, собранные в ключе графа QUEUE_RUNNERS, уже запускаются автоматически при создании сессии с Supervisor, поэтому, если у вас нет очередей, не собранных для запуска, вам не нужно вызывать это явным образом.

Совместимость с eager

Очереди не совместимы с eager-выполнением. Чтобы вводить данные при включённом eager-выполнении, используйте API tf.data.

start_standard_services

Просмотр исходного кода

start_standard_services(
    sess
)

Запуск стандартных служб для 'sess'.

Это запускает службы в фоновом режиме. Запущенные службы зависят от параметров конструктора и могут включать:

• Поток сводки, вычисляющий сводки каждые save_summaries_secs.
• Поток контрольной точки, сохраняющий модель каждые save_model_secs.
• Поток StepCounter, измеряющий время шага.

stop

Просмотреть исходный код

stop(
    threads=None, close_summary_writer=True, ignore_live_threads=False
)

Останавливает службы и координатор.

Это не закрывает сеанс.

stop_on_exception

Просмотреть исходный код

stop_on_exception()

Обработчик контекста для остановки супервизора при возникновении исключения.

См. Coordinator.stop_on_exception().

summary_computed

Просмотреть исходный код

summary_computed(
    sess, summary, global_step=None
)

Указывает, что сводка была вычислена.

wait_for_stop

Просмотреть исходный код

wait_for_stop()

Ожидает остановки координатора.

Переменные класса

• USE_DEFAULT = 0