tf.compat.v1.train.Supervisor

Помощник для обучения, который создаёт контрольные точки моделей и вычисляет сводки.

tf.compat.v1.train.Supervisor(
    graph=None, ready_op=USE_DEFAULT, ready_for_local_init_op=USE_DEFAULT,
    is_chief=True, init_op=USE_DEFAULT, init_feed_dict=None,
    local_init_op=USE_DEFAULT, logdir=None, summary_op=USE_DEFAULT,
    saver=USE_DEFAULT, global_step=USE_DEFAULT, save_summaries_secs=120,
    save_model_secs=600, recovery_wait_secs=30, stop_grace_secs=120,
    checkpoint_basename='model.ckpt', session_manager=None,
    summary_writer=USE_DEFAULT, init_fn=None, local_init_run_options=None
)

Этот класс устарел. Пожалуйста, используйте tf.compat.v1.train.MonitoredTrainingSession вместо него.

Supervisor — небольшой обертка вокруг Coordinator, Saver, и SessionManager, который заботится об общих потребностях программ обучения TensorFlow.

Использование для одной программы

with tf.Graph().as_default():
  ...add operations to the graph...
  # Create a Supervisor that will checkpoint the model in '/tmp/mydir'.
  sv = Supervisor(logdir='/tmp/mydir')
  # Get a TensorFlow session managed by the supervisor.
  with sv.managed_session(FLAGS.master) as sess:
    # Use the session to train the graph.
    while not sv.should_stop():
      sess.run(<my_train_op>)

Внутри блока with sv.managed_session() все переменные в графе были инициализированы. Кроме того, были запущены несколько служб для создания контрольных точек модели и добавления сводок в журнал событий.

Если программа аварийно завершается и перезапускается, управляемая сессия автоматически повторно инициализирует переменные из последней контрольной точки.

Supervisor уведомляется о любом исключении, поднятом одной из служб. После того, как исключение будет поднято, should_stop() возвращает True. В этом случае цикл обучения также должен остановиться. Вот почему цикл обучения должен проверять sv.should_stop().

Исключения, указывающие на исчерпание входных данных для обучения, tf.errors.OutOfRangeError, также заставляют sv.should_stop() возвратить True, но не повторно поднимаются из блока with: они указывают на нормальное завершение.

Использование для нескольких реплик

Для обучения с репликами необходимо развернуть одну и ту же программу в Cluster. Одна из задач должна быть идентифицирована как главная: задача, которая обрабатывает инициализацию, контрольные точки, сводки и восстановление. Другие задачи зависят от главной задачи для этих служб.

Единственное изменение, которое необходимо внести в код программы с одной программой, — указать, работает ли программа как главная.

# Choose a task as the chief. This could be based on server_def.task_index,
# or job_def.name, or job_def.tasks. It's entirely up to the end user.
# But there can be only one *chief*.
is_chief = (server_def.task_index == 0)
server = tf.distribute.Server(server_def)

with tf.Graph().as_default():
  ...add operations to the graph...
  # Create a Supervisor that uses log directory on a shared file system.
  # Indicate if you are the 'chief'
  sv = Supervisor(logdir='/shared_directory/...', is_chief=is_chief)
  # Get a Session in a TensorFlow server on the cluster.
  with sv.managed_session(server.target) as sess:
    # Use the session to train the graph.
    while not sv.should_stop():
      sess.run(<my_train_op>)

В задаче главной Supervisor работает точно так же, как в первом примере выше. В других задачах sv.managed_session() ожидает, пока модель не будет инициализирована, прежде чем вернуть сессию коду обучения. Задачи, не являющиеся главными, зависят от главной задачи для инициализации модели.

Если одна из задач аварийно завершается и перезапускается, managed_session() проверяет, инициализирована ли модель. Если да, она просто создаёт сессию и возвращает её коду обучения, который продолжает работу нормально. Если модель необходимо инициализировать, главная задача позаботится об её повторной инициализации; другие задачи просто ждут, пока модель не будет инициализирована.

Примечание: Эта изменённая программа по-прежнему работает как программа с одной программой. Программа с одной программой отмечает себя как главную.

Использование строки master

Независимо от того, работаете ли вы на своей машине или в кластере, вы можете использовать следующие значения для флага --master:

• Указание '' запрашивает сессию в процессе, которая не использует RPC.

• Указание 'local' запрашивает сессию, которая использует RPC-основанный "Интерфейс мастера" для запуска программ TensorFlow. Подробности см. в tf.train.Server.create_local_server.

• Указание 'grpc://hostname:port' запрашивает сессию, которая использует интерфейс RPC на определённом хосте, а также позволяет мастеру в процессе получить доступ к удалённым рабочим TensorFlow. Часто целесообразно передавать server.target (для некоторого tf.distribute.Server с именем `server).

Расширенное использование

Запуск дополнительных служб

managed_session() запускает службы создания контрольных точек и сводок (потоки). Если вам необходимо запустить больше служб, вы можете просто запустить их в блоке, управляемом managed_session().

Пример: запустите поток для печати потерь. Мы хотим, чтобы этот поток запускался каждые 60 секунд, поэтому мы запускаем его с sv.loop().

...
sv = Supervisor(logdir='/tmp/mydir')
with sv.managed_session(FLAGS.master) as sess:
  sv.loop(60, print_loss, (sess, ))
  while not sv.should_stop():
    sess.run(my_train_op)

Запуск меньшего количества служб

managed_session() запускает потоки "сводки" и "контрольных точек", которые используют либо необязательные summary_op и saver, переданные в конструктор, либо стандартные, созданные автоматически Supervisor. Если вы хотите запустить свою логику вычисления сводок и создание контрольных точек, отключите эти службы, передав None параметрам summary_op и saver.

Пример: Создайте сводки вручную каждые 100 шагов в главной задаче.

# Create a Supervisor with no automatic summaries.
sv = Supervisor(logdir='/tmp/mydir', is_chief=is_chief, summary_op=None)
# As summary_op was None, managed_session() does not start the
# summary thread.
with sv.managed_session(FLAGS.master) as sess:
  for step in xrange(1000000):
    if sv.should_stop():
      break
    if is_chief and step % 100 == 0:
      # Create the summary every 100 chief steps.
      sv.summary_computed(sess, sess.run(my_summary_op))
    else:
      # Train normally
      sess.run(my_train_op)

Настройка инициализации модели

managed_session() поддерживает инициализацию модели только путём запуска init_op или восстановления из последней контрольной точки. Если у вас есть особые потребности в инициализации, см. как указать local_init_op при создании Supervisor. Вы также можете использовать SessionManager непосредственно для создания сессии и проверки возможности её автоматической инициализации.

Методы

Loop

Просмотреть исходный код

Loop(
    timer_interval_secs, target, args=None, kwargs=None
)

Запустить LooperThread, который периодически вызывает функцию.

Если timer_interval_secs равно None, поток вызывает target(*args, **kwargs) повторно. В противном случае он вызывает ее каждые timer_interval_secs секунды. Поток завершается при запросе остановки.

Запущенный поток добавляется в список потоков, управляемых надзирателем, поэтому его не нужно передавать методу stop().

PrepareSession

Просмотреть исходный код

PrepareSession(
    master='', config=None, wait_for_checkpoint=False, max_wait_secs=7200,
    start_standard_services=True
)

Убедитесь, что модель готова к использованию.

Создать сеанс в 'master', восстанавливая или инициализируя модель по мере необходимости, или ждать готовности сеанса. Если выполняется в качестве главного и start_standard_service установлено в True, также вызовите менеджер сеансов для запуска стандартных служб.

RequestStop

Просмотреть исходный код

RequestStop(
    ex=None
)

Запросить остановку потоков координатором.

См. Coordinator.request_stop().

ShouldStop

Просмотреть исходный код

ShouldStop()

Проверить, было ли координатору сказано остановиться.

См. Coordinator.should_stop().

StartQueueRunners

Просмотреть исходный код

StartQueueRunners(
    sess, queue_runners=None
)

Запустить потоки для QueueRunners.

Обратите внимание, что очереди, собранные в ключе графа QUEUE_RUNNERS, уже автоматически запускаются при создании сеанса с надзирателем, поэтому, если нет дополнительных очередей для запуска, нет необходимости вызывать это явно.

Совместимость с Eager

Очереди не совместимы с eager-выполнением. Чтобы получить данные при включённом eager-выполнении, используйте API tf.data.

StartStandardServices

Просмотреть исходный код

StartStandardServices(
    sess
)

Запустить стандартные службы для 'sess'.

Это запускает службы в фоновом режиме. Запускаемые службы зависят от параметров конструктора и могут включать:

• Поток сводок, вычисляющий сводки каждые save_summaries_secs.
• Поток контрольных точек, сохраняющий модель каждые save_model_secs.
• Поток StepCounter, измеряющий время шага.

Stop

Просмотреть исходный код

Stop(
    threads=None, close_summary_writer=True, ignore_live_threads=False
)

Остановить службы и координатор.

Это не закрывает сеанс.

StopOnException

Просмотреть исходный код

StopOnException()

Обработчик контекста для остановки надзирателя при возникновении исключения.

См. Coordinator.stop_on_exception().

SummaryComputed

Просмотреть исходный код

WaitForStop()

Указывает, что сводка была вычислена.

WaitForStop

Просмотреть исходный код

WaitForStop()

Заблокировать ожидание остановки координатора.

loop

Просмотреть исходный код

loop(
    timer_interval_secs, target, args=None, kwargs=None
)

Запустить LooperThread, который периодически вызывает функцию.

Если timer_interval_secs равно None, поток вызывает target(*args, **kwargs) повторно. В противном случае он вызывает его каждые timer_interval_secs секунды. Поток завершается при запросе остановки.

Запущенный поток добавляется в список потоков, управляемых супервизором, поэтому его не нужно передавать методу stop().

managed_session

Просмотреть исходный код

@contextlib.contextmanager
managed_session(
    master='', config=None, start_standard_services=True, close_summary_writer=True
)

Возвращает менеджер контекста для управляемой сессии.

Этот менеджер контекста создаёт и автоматически восстанавливает сессию. Он необязательно запускает стандартные сервисы, обрабатывающие контрольные точки и сводки. Он отслеживает исключения, генерируемые из блока with или от сервисов и останавливает супервизор по мере необходимости.

Менеджер контекста обычно используется следующим образом:

def train():
  sv = tf.compat.v1.train.Supervisor(...)
  with sv.managed_session(<master>) as sess:
    for step in xrange(..):
      if sv.should_stop():
        break
      sess.run(<my training op>)
      ...do other things needed at each training step...

Исключение, генерируемое из блока with или одного из потоков сервиса, снова генерируется при выходе из блока. Это делается после остановки всех потоков и закрытия сессии. Например, исключение AbortedError , возникающее в случае прерывания одного из рабочих процессов в распределённой модели, снова генерируется при выходе из блока.

Если вы хотите повторить цикл обучения в случае прерывания, вы можете сделать это следующим образом:

def main(...):
  while True
    try:
      train()
    except tf.errors.Aborted:
      pass

В качестве специального случая исключения, используемые для управления потоком, такие как OutOfRangeError, которые сообщают о том, что очереди ввода исчерпаны, не генерируются снова из блока with: они указывают на чистое завершение цикла обучения и считаются нормальным завершением.

prepare_or_wait_for_session

Просмотреть исходный код

prepare_or_wait_for_session(
    master='', config=None, wait_for_checkpoint=False, max_wait_secs=7200,
    start_standard_services=True
)

Убедитесь, что модель готова к использованию.

Создайте сессию на 'master', восстанавливая или инициализируя модель по мере необходимости, или подождите, пока сессия будет готова. Если работаем как главный и start_standard_service установлено в True, также вызовите менеджер сессии для запуска стандартных сервисов.

request_stop

Просмотреть исходный код

request_stop(
    ex=None
)

Запросить, чтобы координатор остановил потоки.

См. Coordinator.request_stop().

should_stop

Просмотреть исходный код

should_stop()

Проверить, было ли указано координатору остановить работу.

См. Coordinator.should_stop().

start_queue_runners

Просмотреть исходный код

start_queue_runners(
    sess, queue_runners=None
)

Запустить потоки для QueueRunners.

Обратите внимание, что исполнители очередей, собранные в ключе графа QUEUE_RUNNERS, уже автоматически запускаются при создании сессии с использованием супервизора, поэтому, если у вас нет исполнителей очередей, которые нужно запустить, нет необходимости вызывать это явно.

Совместимость с eager-выполнением

Очереди несовместимы с eager-выполнением. Для обработки данных при включённом eager-выполнении используйте API tf.data.

start_standard_services

Просмотреть исходный код

start_standard_services(
    sess
)

Запустить стандартные сервисы для 'sess'.

Это запускает сервисы в фоновом режиме. Запускаемые сервисы зависят от параметров конструктора и могут включать:

• Поток Summary, вычисляющий сводки каждые save_summaries_secs.
• Поток Checkpoint, сохраняющий модель каждые save_model_secs.
• Поток StepCounter, измеряющий время шага.

stop

Просмотреть исходный код

stop(
    threads=None, close_summary_writer=True, ignore_live_threads=False
)

Остановка служб и координатора.

Это не закрывает сеанс.

stop_on_exception

Просмотреть исходный код

stop_on_exception()

Обработчик контекста для остановки Supervisor при возникновении исключения.

См. Coordinator.stop_on_exception().

summary_computed

Просмотреть исходный код

summary_computed(
    sess, summary, global_step=None
)

Указывает, что была вычислена сводная информация.

wait_for_stop

Просмотреть исходный код

wait_for_stop()

Блокирующее ожидание остановки координатора.

USE_DEFAULT = 0

• USE_DEFAULT = 0