Spec-Zone.ru › TensorFlow 2.3

tf.estimator.RunConfig

Просмотреть исходный код на GitHub

Этот класс задаёт конфигурации для Estimator выполнения.

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения более подробной информации.

tf.compat.v1.estimator.RunConfig

tf.estimator.RunConfig(
    model_dir=None, tf_random_seed=None, save_summary_steps=100,
    save_checkpoints_steps=_USE_DEFAULT, save_checkpoints_secs=_USE_DEFAULT,
    session_config=None, keep_checkpoint_max=5, keep_checkpoint_every_n_hours=10000,
    log_step_count_steps=100, train_distribute=None, device_fn=None, protocol=None,
    eval_distribute=None, experimental_distribute=None,
    experimental_max_worker_delay_secs=None, session_creation_timeout_secs=7200
)
Аргументы
model_dir директория, в которой сохраняются параметры модели, граф и т. д. Если PathLike объект, путь будет разрешён. Если None, будет использовано значение по умолчанию, установленное оценщиком.
tf_random_seed Случайное семя для инициализаторов TensorFlow. Установка этого значения позволяет обеспечить согласованность при повторных запусках.
save_summary_steps Сохранять сводки каждые столько шагов.
save_checkpoints_steps Сохранять контрольные точки каждые столько шагов. Не может быть указано вместе с save_checkpoints_secs.
save_checkpoints_secs Сохранять контрольные точки каждые столько секунд. Не может быть указано вместе с save_checkpoints_steps. По умолчанию 600 секунд, если оба save_checkpoints_steps и save_checkpoints_secs не заданы в конструкторе. Если оба save_checkpoints_steps и save_checkpoints_secs не заданы, контрольные точки отключены.
session_config ConfigProto, используемый для задания параметров сеанса, или None.
keep_checkpoint_max Максимальное количество последних файлов контрольных точек для сохранения. По мере создания новых файлов старые удаляются. Если None или 0, все файлы контрольных точек сохраняются. По умолчанию 5 (сохраняются 5 последних файлов контрольных точек). Если с оценщиком передаётся сохранятель, этот аргумент будет проигнорирован.
keep_checkpoint_every_n_hours Количество часов между сохранением каждой контрольной точки. Значение по умолчанию 10 000 часов фактически отключает эту функцию.
log_step_count_steps Частота, в количестве глобальных шагов, с которой будет регистрироваться глобальный шаг и потеря во время обучения. Также контролирует частоту, с которой будут регистрироваться/записываться глобальные шаги/с (и записываться в сводки) во время обучения.
train_distribute Необязательный экземпляр tf.distribute.Strategy. Если указано, оценщик будет распределять модель пользователя во время обучения в соответствии с политикой, указанной этой стратегией. Лучше указать experimental_distribute.train_distribute.
device_fn Функция, вызываемая для каждого Operation, которая принимает Operation и возвращает строку устройства. Если None, по умолчанию функция устройства возвращается tf.train.replica_device_setter с круговой стратегией.
protocol Необязательный аргумент, определяющий протокол, используемый при запуске сервера. None означает по умолчанию grpc.
eval_distribute Необязательный экземпляр tf.distribute.Strategy. Если указано, оценщик будет распределять модель пользователя во время оценки в соответствии с политикой, указанной этой стратегией. Лучше указать experimental_distribute.eval_distribute.
experimental_distribute Необязательный объект, определяющий конфигурацию, связанную с DistributionStrategy. train_distribute и eval_distribute могут быть переданы как параметры RunConfig или установлены в experimental_distribute, но не оба.
experimental_max_worker_delay_secs Необязательное целое число, определяющее максимальное время ожидания рабочего процесса перед запуском. По умолчанию рабочие процессы запускаются со сдвигом во времени, с задержкой каждого рабочего процесса до 60 секунд. Это предназначено для уменьшения риска расхождения, который может возникнуть, когда много рабочих процессов одновременно обновляют веса случайно инициализированной модели. Пользователи, которые запустят свои модели с подогревом и будут тренировать их в течение коротких периодов времени (несколько минут или меньше), должны рассмотреть возможность снижения этого значения по умолчанию, чтобы улучшить время обучения.
session_creation_timeout_secs Максимальное время ожидания рабочими процессами доступности сеанса (при инициализации или восстановлении сеанса) с MonitoredTrainingSession. По умолчанию 7200 секунд, но пользователи могут установить меньшее значение, чтобы быстрее обнаруживать проблемы с переменной/сеансом (пере)инициализации.
Исключения
ValueError Если оба save_checkpoints_steps и save_checkpoints_secs заданы.
Атрибуты
cluster_spec
device_fn Возвращает device_fn.

Если device_fn не None, он переопределяет функцию устройства по умолчанию, используемую в Estimator. В противном случае используется функция по умолчанию.

eval_distribute Необязательный tf.distribute.Strategy для оценки.
evaluation_master
experimental_max_worker_delay_secs
global_id_in_cluster Глобальный идентификатор в кластере обучения.

Все глобальные идентификаторы в кластере обучения присваиваются из возрастающей последовательности последовательных целых чисел. Первый идентификатор равен 0.

Примечание: Идентификатор задачи (поле свойства task_id) отслеживает индекс узла среди всех узлов с тем же типом задачи. Например, при заданном определении кластера:
cluster = {'chief': ['host0:2222'],
'ps': ['host1:2222', 'host2:2222'],
'worker': ['host3:2222', 'host4:2222', 'host5:2222']}

Узлы с типом задачи worker могут иметь идентификаторы 0, 1, 2. Узлы с типом задачи ps могут иметь идентификаторы 0, 1. Таким образом, task_id не уникален, но пара (task_type, task_id) однозначно определяет узел в кластере.

Глобальный идентификатор, т. е. это поле, отслеживает индекс узла среди ВСЕХ узлов в кластере. Он присваивается уникально. Например, для указанного выше спецификации кластера глобальные идентификаторы присваиваются так:

task_type  | task_id  |  global_id
--------------------------------
chief      | 0        |  0
worker     | 0        |  1
worker     | 1        |  2
worker     | 2        |  3
ps         | 0        |  4
ps         | 1        |  5
is_chief
keep_checkpoint_every_n_hours
keep_checkpoint_max
log_step_count_steps
master
model_dir
num_ps_replicas
num_worker_replicas
protocol Возвращает необязательное значение протокола.
save_checkpoints_secs
save_checkpoints_steps
save_summary_steps
service Возвращает словарь сервисов, определённый платформой (в TF_CONFIG).
session_config
session_creation_timeout_secs
task_id
task_type
tf_random_seed
train_distribute Необязательный tf.distribute.Strategy для обучения.

Методы

replace

Просмотреть исходный код

replace(
    **kwargs
)

Возвращает новый экземпляр RunConfig с заменой указанных свойств.

Заменять разрешены только свойства из следующего списка:

  • model_dir,
  • tf_random_seed,
  • save_summary_steps,
  • save_checkpoints_steps,
  • save_checkpoints_secs,
  • session_config,
  • keep_checkpoint_max,
  • keep_checkpoint_every_n_hours,
  • log_step_count_steps,
  • train_distribute,
  • device_fn,
  • protocol.
  • eval_distribute,
  • experimental_distribute,
  • experimental_max_worker_delay_secs,

Кроме того, можно установить либо save_checkpoints_steps или save_checkpoints_secs (не оба).

Аргументы
**kwargs свойства с именами-ключами и новыми значениями.
Исключения
ValueError Если имя свойства в kwargs не существует, не разрешено для замены или оба save_checkpoints_steps и save_checkpoints_secs заданы.
Возвращает
новый экземпляр RunConfig.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/estimator/RunConfig

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API