tf.compat.v1.train.Supervisor

Помощник обучения, который сохраняет модели и вычисляет сводки.

tf.compat.v1.train.Supervisor(
    graph=None,
    ready_op=USE_DEFAULT,
    ready_for_local_init_op=USE_DEFAULT,
    is_chief=True,
    init_op=USE_DEFAULT,
    init_feed_dict=None,
    local_init_op=USE_DEFAULT,
    logdir=None,
    summary_op=USE_DEFAULT,
    saver=USE_DEFAULT,
    global_step=USE_DEFAULT,
    save_summaries_secs=120,
    save_model_secs=600,
    recovery_wait_secs=30,
    stop_grace_secs=120,
    checkpoint_basename='model.ckpt',
    session_manager=None,
    summary_writer=USE_DEFAULT,
    init_fn=None,
    local_init_run_options=None
)

Этот класс устарел. Используйте tf.compat.v1.train.MonitoredTrainingSession вместо него.

Supervisor — это небольшой оболочка вокруг Coordinator, Saver и SessionManager, которая заботится о распространённых потребностях программ обучения TensorFlow.

Использование для одной программы

with tf.Graph().as_default():
  ...add operations to the graph...
  # Create a Supervisor that will checkpoint the model in '/tmp/mydir'.
  sv = Supervisor(logdir='/tmp/mydir')
  # Get a TensorFlow session managed by the supervisor.
  with sv.managed_session(FLAGS.master) as sess:
    # Use the session to train the graph.
    while not sv.should_stop():
      sess.run(<my_train_op>)

Внутри блока with sv.managed_session() все переменные в графе инициализированы. Кроме того, были запущены несколько служб для сохранения модели и добавления сводок в журнал событий.

Если программа завершится аварийно и будет перезапущена, управляемая сессия автоматически повторно инициализирует переменные из последнего сохранения.

Supervisor уведомляется о любых исключениях, поднятых одной из служб. После того, как исключение было поднято, should_stop() возвращает True. В этом случае цикл обучения также должен остановиться. Вот почему цикл обучения должен проверять на наличие sv.should_stop().

Исключения, указывающие на то, что входные данные обучения исчерпаны, tf.errors.OutOfRangeError, также заставляют sv.should_stop() возвращать True, но не перебрасываются из блока with: они указывают на нормальное завершение.

Использование для нескольких реплик

Для обучения с репликами необходимо развернуть одну и ту же программу в Cluster. Одна из задач должна быть определена как главная: задача, обрабатывающая инициализацию, сохранения, сводки и восстановление. Другие задачи зависят от главной для этих служб.

Единственное изменение, которое нужно внести в код программы с одной программой, — это указать, работает ли программа как главная.

# Choose a task as the chief. This could be based on server_def.task_index,
# or job_def.name, or job_def.tasks. It's entirely up to the end user.
# But there can be only one *chief*.
is_chief = (server_def.task_index == 0)
server = tf.distribute.Server(server_def)

with tf.Graph().as_default():
  ...add operations to the graph...
  # Create a Supervisor that uses log directory on a shared file system.
  # Indicate if you are the 'chief'
  sv = Supervisor(logdir='/shared_directory/...', is_chief=is_chief)
  # Get a Session in a TensorFlow server on the cluster.
  with sv.managed_session(server.target) as sess:
    # Use the session to train the graph.
    while not sv.should_stop():
      sess.run(<my_train_op>)

В задаче главной Supervisor работает точно так же, как в первом примере выше. В других задачах sv.managed_session() ожидает, пока Модель не будет инициализирована, прежде чем вернуть сессию коду обучения. Задачи, не являющиеся главными, зависят от главной задачи для инициализации модели.

Если одна из задач аварийно завершит работу и перезапустится, managed_session() проверяет, инициализирована ли Модель. Если да, он просто создаёт сессию и возвращает её коду обучения, который продолжает работать нормально. Если модель нужно инициализировать, главная задача позаботится об её повторной инициализации; другие задачи просто ждут, пока модель будет инициализирована.

Примечание: Эта изменённая программа по-прежнему работает как одна программа. Единственная программа отмечает себя как главную.

Какой использовать строку master

Независимо от того, работаете ли вы на вашей машине или в кластере, вы можете использовать следующие значения для флага --master:

• Указание '' запрашивает сессию в процессе, которая не использует RPC.

• Указание 'local' запрашивает сессию, которая использует RPC-базированный "интерфейс Мастера" для запуска программ TensorFlow. Подробнее см. tf.train.Server.create_local_server.

• Указание 'grpc://hostname:port' запрашивает сессию, которая использует интерфейс RPC к конкретному хосту, а также позволяет мастеру в процессе получить доступ к удалённым рабочим узлам tensorflow. Часто уместно передавать server.target (для некоторого tf.distribute.Server с именем `server).

Расширенное использование

Запуск дополнительных служб

managed_session() запускает службы Сохранения и Сводки (потоки). Если вам нужны дополнительные службы, вы можете просто запустить их в блоке, управляемом managed_session().

Пример: запустите поток для вывода потерь. Мы хотим, чтобы этот поток выполнялся каждые 60 секунд, поэтому запускаем его с sv.loop().

...
sv = Supervisor(logdir='/tmp/mydir')
with sv.managed_session(FLAGS.master) as sess:
  sv.loop(60, print_loss, (sess, ))
  while not sv.should_stop():
    sess.run(my_train_op)

Запуск меньшего количества служб

managed_session() запускает потоки "сводки" и "сохранения", которые используют необязательные summary_op и saver, переданные в конструктор, или стандартные потоки, созданные автоматически supervisorem. Если вы хотите запустить собственную логику сводок и сохранения, отключите эти службы, передав None в параметры summary_op и saver.

Пример: вручную создавайте сводки каждые 100 шагов в главной задаче.

# Create a Supervisor with no automatic summaries.
sv = Supervisor(logdir='/tmp/mydir', is_chief=is_chief, summary_op=None)
# As summary_op was None, managed_session() does not start the
# summary thread.
with sv.managed_session(FLAGS.master) as sess:
  for step in range(1000000):
    if sv.should_stop():
      break
    if is_chief and step % 100 == 0:
      # Create the summary every 100 chief steps.
      sv.summary_computed(sess, sess.run(my_summary_op))
    else:
      # Train normally
      sess.run(my_train_op)

Настройка инициализации модели

managed_session() поддерживает только инициализацию модели путём выполнения init_op или восстановления из последнего сохранения. Если у вас есть особые потребности в инициализации, см., как указать local_init_op при создании supervisor. Вы также можете использовать SessionManager напрямую для создания сессии и проверки, может ли она быть инициализирована автоматически.

Методы

Loop

Просмотреть исходный код

Loop(
    timer_interval_secs, target, args=None, kwargs=None
)

Запустить поток LooperThread, который периодически вызывает функцию.

Если timer_interval_secs равно None, поток вызывает target(*args, **kwargs) повторно. В противном случае он вызывает её каждые timer_interval_secs секунды. Поток завершается при запросе остановки.

Запущенный поток добавляется в список потоков, управляемых надзирателем, поэтому его не нужно передавать методу stop().

Подготовить сеанс

Просмотреть исходный код

PrepareSession(
    master='',
    config=None,
    wait_for_checkpoint=False,
    max_wait_secs=7200,
    start_standard_services=True
)

Убедиться, что модель готова к использованию.

Создайте сеанс на «master», восстанавливая или инициализируя модель по мере необходимости, или дождитесь готовности сеанса. Если выполняется как главный и start_standard_service установлен в True, также вызовите менеджер сеансов для запуска стандартных служб.

Запросить остановку

Просмотреть исходный код

RequestStop(
    ex=None
)

Запросить остановку потоков координатором.

См. Coordinator.request_stop().

Необходимо остановить

Просмотреть исходный код

ShouldStop()

Проверить, было ли указано координатору остановить работу.

См. Coordinator.should_stop().

StartQueueRunners

Просмотреть исходный код

StartQueueRunners(
    sess, queue_runners=None
)

Запустить потоки для QueueRunners.

Обратите внимание, что потоки, собранные в ключе графа QUEUE_RUNNERS, уже автоматически запускаются при создании сессии с помощью надзирателя, поэтому если у вас нет потоков, которые нужно запустить, вам не нужно вызывать эту функцию явно.

Очереди не совместимы с жадным выполнением. Для обработки данных при включённом жадном выполнении используйте API tf.data.

StartStandardServices

Просмотреть исходный код

StartStandardServices(
    sess
)

Запустить стандартные службы для 'sess'.

Это запускает службы в фоновом режиме. Запускаемые службы зависят от параметров конструктора и могут включать:

• Поток сводок, вычисляющий сводки каждые save_summaries_secs секунд.
• Поток сохранения контрольных точек, сохраняющий модель каждые save_model_secs секунд.
• Поток StepCounter, измеряющий время шага.

Stop

Просмотреть исходный код

Stop(
    threads=None, close_summary_writer=True, ignore_live_threads=False
)

Остановить службы и координатор.

Это не закрывает сессию.

StopOnException

Просмотреть исходный код

StopOnException()

Обработчик контекста для остановки надзирателя при возникновении исключения.

См. Coordinator.stop_on_exception().

SummaryComputed

Просмотреть исходный код

SummaryComputed(
    sess, summary, global_step=None
)

Указать, что сводка была вычислена.

WaitForStop

Просмотреть исходный код

WaitForStop()

Ожидание остановки координатора.

loop

Просмотреть исходный код

loop(
    timer_interval_secs, target, args=None, kwargs=None
)

Запустить LooperThread, который периодически вызывает функцию.

Если timer_interval_secs равно None, поток вызывает target(*args, **kwargs) многократно. В противном случае, он вызывает его каждые timer_interval_secs секунд. Поток завершается при запросе остановки.

Запущенный поток добавляется в список потоков, управляемых надзирателем, поэтому его не нужно передавать методу stop().

managed_session

Просмотреть исходный код

@contextlib.contextmanager
managed_session(
    master='',
    config=None,
    start_standard_services=True,
    close_summary_writer=True
)

Возвращает менеджер контекста для управляемой сессии.

Этот менеджер контекста создаёт и автоматически восстанавливает сессию. Он необязательно запускает стандартные службы, которые обрабатывают контрольные точки и сводки. Он следит за исключениями, возникшими в блоке with или в службах и останавливает надзирателя по мере необходимости.

Менеджер контекста обычно используется следующим образом:

def train():
  sv = tf.compat.v1.train.Supervisor(...)
  with sv.managed_session(<master>) as sess:
    for step in range(..):
      if sv.should_stop():
        break
      sess.run(<my training op>)
      ...do other things needed at each training step...

Исключение, возникшее в блоке with или в одном из потоков службы, снова возникает при выходе из блока. Это делается после остановки всех потоков и закрытия сессии. Например, исключение AbortedError, возникающее в случае прерывания одного из рабочих элементов в распределённой модели, снова возникает при выходе из блока.

Если вы хотите повторить цикл обучения в случае прерывания, вы можете сделать это следующим образом:

def main(...):
  while True
    try:
      train()
    except tf.errors.Aborted:
      pass

В качестве специального случая исключения, используемые для управления потоком, например, OutOfRangeError, которые сообщают об истощении очередей ввода, не повторно вызываются из блока with: они указывают на чистое завершение цикла обучения и считаются нормальным завершением.

prepare_or_wait_for_session

Просмотреть исходный код

prepare_or_wait_for_session(
    master='',
    config=None,
    wait_for_checkpoint=False,
    max_wait_secs=7200,
    start_standard_services=True
)

Убедитесь, что модель готова к использованию.

Создайте сессию на 'master', восстанавливая или инициализируя модель по мере необходимости, или дождитесь готовности сессии. Если выполняете как главный процесс и start_standard_service установлено в True, также вызовите менеджер сессии для запуска стандартных сервисов.

request_stop

Просмотреть исходный код

request_stop(
    ex=None
)

Запросить остановку потоков координатором.

См. Coordinator.request_stop().

should_stop

Просмотреть исходный код

should_stop()

Проверить, запросила ли координатор остановку.

См. Coordinator.should_stop().

start_queue_runners

Просмотреть исходный код

start_queue_runners(
    sess, queue_runners=None
)

Запустить потоки для QueueRunners.

Обратите внимание, что обработчики очереди, собранные в ключе графа QUEUE_RUNNERS, уже автоматически запускаются при создании сессии с помощью надсмотрщика, поэтому если у вас нет несобранных обработчиков очередей для запуска, вам не нужно вызывать это явно.

Очереди несовместимы с eager-выполнением. Чтобы получить данные при включенном eager-выполнении, используйте API tf.data.

start_standard_services

Просмотреть исходный код

start_standard_services(
    sess
)

Запустить стандартные сервисы для 'sess'.

Это запускает сервисы в фоновом режиме. Запускаемые сервисы зависят от параметров конструктора и могут включать:

• Поток Summary, вычисляющий сводки каждые save_summaries_secs.
• Поток Checkpoint, сохраняющий модель каждые save_model_secs.
• Поток StepCounter, измеряющий время шага.

stop

Просмотреть исходный код

stop(
    threads=None, close_summary_writer=True, ignore_live_threads=False
)

Остановить сервисы и координатор.

Это не закрывает сессию.

stop_on_exception

Просмотреть исходный код

stop_on_exception()

Обработчик контекста для остановки надсмотрщика при возникновении исключения.

См. Coordinator.stop_on_exception().

summary_computed

Просмотреть исходный код

summary_computed(
    sess, summary, global_step=None
)

Указать, что сводка была вычислена.

wait_for_stop

Просмотреть исходный код

wait_for_stop()

Блокировать ожидание остановки координатора.