tf.compat.v1.train.SessionManager

Помощник обучения, который восстанавливает модель из контрольной точки и создаёт сессию.

tf.compat.v1.train.SessionManager(
    local_init_op=None, ready_op=None, ready_for_local_init_op=None, graph=None,
    recovery_wait_secs=30, local_init_run_options=None, local_init_feed_dict=None
)

Этот класс — небольшой оболочка, которая отвечает за создание сессии и восстановление контрольной точки. Он также предоставляет функции для облегчения координации между несколькими потоками или процессами обучения.

• Сохранение обученных переменных по мере обучения.
• Инициализация переменных при запуске, восстановление их из последней контрольной точки после сбоя или ожидание появления контрольных точек.

Использование:

with tf.Graph().as_default():
   ...add operations to the graph...
  # Create a SessionManager that will checkpoint the model in '/tmp/mydir'.
  sm = SessionManager()
  sess = sm.prepare_session(master, init_op, saver, checkpoint_dir)
  # Use the session to train the graph.
  while True:
    sess.run(<my_train_op>)

prepare_session() инициализирует или восстанавливает модель. Для этого требуются init_op и saver в качестве аргументов.

Другой процесс может ожидать готовности модели следующим образом:

with tf.Graph().as_default():
   ...add operations to the graph...
  # Create a SessionManager that will wait for the model to become ready.
  sm = SessionManager()
  sess = sm.wait_for_session(master)
  # Use the session to train the graph.
  while True:
    sess.run(<my_train_op>)

wait_for_session() ожидает инициализации модели другими процессами.

Методы

prepare_session

Посмотреть исходный код

prepare_session(
    master, init_op=None, saver=None, checkpoint_dir=None,
    checkpoint_filename_with_path=None, wait_for_checkpoint=False,
    max_wait_secs=7200, config=None, init_feed_dict=None, init_fn=None
)

Создаёт Session. Убеждается, что модель готова к использованию.

Создаёт Session в 'master'. Если в качестве аргумента передаётся объект saver, и checkpoint_dir указывает на каталог с допустимыми файлами контрольных точек, то будет попытка восстановления модели из контрольной точки. Если файлы контрольных точек недоступны и wait_for_checkpoint — True, процесс будет проверять каждые recovery_wait_secs, вплоть до max_wait_secs, до успешного восстановления.

Если модель не может быть успешно восстановлена, она инициализируется путём выполнения init_op и вызова init_fn, если они предоставлены. local_init_op также выполняется после init_op и init_fn, независимо от того, была ли модель успешно восстановлена, но только если ready_for_local_init_op успешно.

Если модель восстановлена из контрольной точки, предполагается, что все глобальные переменные были инициализированы, в частности, ни init_op, ни init_fn не будут выполнены.

Возникнет ошибка, если модель не может быть восстановлена, и не были переданы init_op, init_fn или local_init_op.

recover_session

Посмотреть исходный код

recover_session(
    master, saver=None, checkpoint_dir=None, checkpoint_filename_with_path=None,
    wait_for_checkpoint=False, max_wait_secs=7200, config=None
)

Создаёт Session, восстанавливая, если возможно.

Создаёт новую сессию в 'master'. Если сессия не инициализирована и может быть восстановлена из контрольной точки, восстанавливает её.

wait_for_session

Посмотреть исходный код

wait_for_session(
    master, config=None, max_wait_secs=float('Inf')
)

Создаёт новую Session и ждёт готовности модели.

Создаёт новую Session в 'master'. Ждёт, пока модель будет инициализирована или восстановлена из контрольной точки. Ожидается, что другой поток или процесс сделает модель готовой, и это предназначено для использования потоками/процессами, участвующими в конфигурации распределённого обучения, где другой поток/процесс отвечает за инициализацию или восстановление обучаемой модели.

ПРИМЕЧАНИЕ: время ожидания этого метода ограничено max_wait_secs. По умолчанию эта функция ожидает неограниченное время.