Spec-Zone.ru › TensorFlow 1.15

tf.estimator.RunConfig

Посмотреть исходный код на GitHub

Этот класс задает конфигурацию запуска Estimator.

Псевдонимы

Псевдонимы совместимости для миграции

Дополнительные сведения см. в руководстве по миграции.

tf.compat.v1.estimator.RunConfig, `tf.compat.v2.estimator.RunConfig`

tf.estimator.RunConfig(
    model_dir=None, tf_random_seed=None, save_summary_steps=100,
    save_checkpoints_steps=_USE_DEFAULT, save_checkpoints_secs=_USE_DEFAULT,
    session_config=None, keep_checkpoint_max=5, keep_checkpoint_every_n_hours=10000,
    log_step_count_steps=100, train_distribute=None, device_fn=None, protocol=None,
    eval_distribute=None, experimental_distribute=None,
    experimental_max_worker_delay_secs=None, session_creation_timeout_secs=7200
)
Аргументы
model_dir каталог, в котором сохраняются параметры модели, граф и т. д. Если объект PathLike, путь будет разрешен. Если None, будет использоваться значение по умолчанию, заданное Estimator.
tf_random_seed Начальное значение генератора случайных чисел для инициализаторов TensorFlow. Задание этого значения обеспечивает согласованность между повторными запусками.
save_summary_steps Сохранять сводки с указанным интервалом в шагах.
save_checkpoints_steps Сохранять контрольные точки с указанным интервалом в шагах. Нельзя указывать вместе с save_checkpoints_secs.
save_checkpoints_secs Сохранять контрольные точки с указанным интервалом в секундах. Нельзя указывать вместе с save_checkpoints_steps. Если в конструкторе не заданы ни save_checkpoints_steps, ни save_checkpoints_secs, по умолчанию используется 600 секунд. Если save_checkpoints_steps и save_checkpoints_secs равны None, контрольные точки отключены.
session_config ConfigProto, используемый для задания параметров сеанса, или None.
keep_checkpoint_max Максимальное количество последних файлов контрольных точек, которые следует хранить. При создании новых файлов старые удаляются. Если задано None или 0, сохраняются все файлы контрольных точек. По умолчанию — 5 (то есть сохраняются 5 самых последних файлов контрольных точек).
keep_checkpoint_every_n_hours Количество часов между сохранениями контрольных точек. Значение по умолчанию — 10 000 часов — фактически отключает эту функцию.
log_step_count_steps Частота, выраженная в количестве глобальных шагов, с которой во время обучения регистрируются глобальный шаг и значение потерь. Также определяет частоту регистрации (и записи в сводку) количества глобальных шагов в секунду во время обучения.
train_distribute Необязательный экземпляр tf.distribute.Strategy. Если он указан, Estimator распределит модель пользователя во время обучения согласно политике, заданной этой стратегией. Рекомендуется задавать experimental_distribute.train_distribute.
device_fn Вызываемый объект, который вызывается для каждого Operation, принимает Operation и возвращает строку устройства. Если задано None, по умолчанию используется функция устройства, возвращаемая tf.train.replica_device_setter со стратегией циклического перебора.
protocol Необязательный аргумент, задающий протокол, используемый при запуске сервера. None означает, что по умолчанию используется grpc.
eval_distribute Необязательный экземпляр tf.distribute.Strategy. Если он указан, Estimator распределит модель пользователя во время оценки согласно политике, заданной этой стратегией. Рекомендуется задавать experimental_distribute.eval_distribute.
experimental_distribute Необъект tf.contrib.distribute.DistributeConfig, задающий конфигурацию, связанную с DistributionStrategy. Параметры train_distribute и eval_distribute можно передать в качестве аргументов в RunConfig или задать в experimental_distribute, но не обоими способами одновременно.
experimental_max_worker_delay_secs Необязательное целое число, задающее максимальное время ожидания перед запуском рабочего процесса. По умолчанию рабочие процессы запускаются с задержкой друг относительно друга, причем задержка для каждого рабочего процесса составляет до 60 секунд. Это позволяет снизить риск расхождения, которое может возникнуть, когда множество рабочих процессов одновременно обновляют веса случайно инициализированной модели. Пользователям, которые выполняют предварительный запуск моделей и обучают их в течение короткого времени (несколько минут или меньше), следует рассмотреть возможность уменьшения этого значения по умолчанию для сокращения времени обучения.
session_creation_timeout_secs Максимальное время ожидания рабочими процессами доступности сеанса (при инициализации или восстановлении сеанса) в MonitoredTrainingSession. По умолчанию — 7200 секунд, но пользователи могут задать меньшее значение, чтобы быстрее обнаруживать проблемы с (повторной) инициализацией переменных или сеанса.
Вызывает исключения
ValueError Если заданы и save_checkpoints_steps, и save_checkpoints_secs.
Атрибуты
cluster_spec
device_fn Возвращает device_fn.

Если device_fn не равен None, он переопределяет используемую по умолчанию функцию устройства в Estimator. В противном случае используется функция по умолчанию.

eval_distribute Необязательный tf.distribute.Strategy для оценки.
evaluation_master
experimental_max_worker_delay_secs
global_id_in_cluster Глобальный идентификатор в кластере обучения.

Всем глобальным идентификаторам в кластере обучения присваиваются последовательные целые числа из возрастающей последовательности. Первый идентификатор — 0.

Примечание: Идентификатор задачи (поле свойства task_id) указывает индекс узла среди всех узлов с ОДИНАКОВЫМ типом задачи. Например, для следующего определения кластера:
cluster = {'chief': ['host0:2222'],
'ps': ['host1:2222', 'host2:2222'],
'worker': ['host3:2222', 'host4:2222', 'host5:2222']}

Узлы с типом задачи worker могут иметь идентификаторы 0, 1, 2. Узлы с типом задачи ps могут иметь идентификаторы 0, 1. Поэтому task_id не является уникальным, но пара (task_type, task_id) однозначно определяет узел в кластере.

Глобальный идентификатор, то есть это поле, указывает индекс узла среди ВСЕХ узлов кластера. Он присваивается уникальным образом. Например, для приведенной выше спецификации кластера глобальные идентификаторы назначаются следующим образом:

task_type  | task_id  |  global_id
--------------------------------
chief      | 0        |  0
worker     | 0        |  1
worker     | 1        |  2
worker     | 2        |  3
ps         | 0        |  4
ps         | 1        |  5
is_chief
keep_checkpoint_every_n_hours
keep_checkpoint_max
log_step_count_steps
master
model_dir
num_ps_replicas
num_worker_replicas
protocol Возвращает необязательное значение протокола.
save_checkpoints_secs
save_checkpoints_steps
save_summary_steps
service Возвращает словарь служб, определенный платформой (в TF_CONFIG).
session_config
session_creation_timeout_secs
task_id
task_type
tf_random_seed
train_distribute Необязательный tf.distribute.Strategy для обучения.

Методы

replace

Посмотреть исходный код

replace(
    **kwargs
)

Возвращает новый экземпляр RunConfig с замененными указанными свойствами.

Заменять разрешено только свойства из следующего списка:

  • model_dir,
  • tf_random_seed,
  • save_summary_steps,
  • save_checkpoints_steps,
  • save_checkpoints_secs,
  • session_config,
  • keep_checkpoint_max,
  • keep_checkpoint_every_n_hours,
  • log_step_count_steps,
  • train_distribute,
  • device_fn,
  • protocol.
  • eval_distribute,
  • experimental_distribute,
  • experimental_max_worker_delay_secs,

Кроме того, можно задать либо save_checkpoints_steps, либо save_checkpoints_secs (но не оба параметра одновременно).

Аргументы
**kwargs именованные свойства с новыми значениями.
Вызывает исключения
ValueError Если имя какого-либо свойства в kwargs не существует или его заменять нельзя либо заданы одновременно save_checkpoints_steps и save_checkpoints_secs.
Возвращает
новый экземпляр RunConfig.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/estimator/RunConfig

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API