tf.estimator.RunConfig
| Просмотреть исходный код на GitHub |
Этот класс задаёт конфигурации для Estimator выполнения.
tf.estimator.RunConfig(
model_dir=None, tf_random_seed=None, save_summary_steps=100,
save_checkpoints_steps=_USE_DEFAULT, save_checkpoints_secs=_USE_DEFAULT,
session_config=None, keep_checkpoint_max=5, keep_checkpoint_every_n_hours=10000,
log_step_count_steps=100, train_distribute=None, device_fn=None, protocol=None,
eval_distribute=None, experimental_distribute=None,
experimental_max_worker_delay_secs=None, session_creation_timeout_secs=7200
)
| Аргументы | |
|---|---|
model_dir | директория, в которой сохраняются параметры модели, граф и т. д. Если PathLike объект, путь будет разрешён. Если None, будет использовано значение по умолчанию, установленное оценщиком. |
tf_random_seed | Случайное семя для инициализаторов TensorFlow. Установка этого значения позволяет обеспечить согласованность при повторных запусках. |
save_summary_steps | Сохранять сводки каждые столько шагов. |
save_checkpoints_steps | Сохранять контрольные точки каждые столько шагов. Не может быть указано вместе с save_checkpoints_secs. |
save_checkpoints_secs | Сохранять контрольные точки каждые столько секунд. Не может быть указано вместе с save_checkpoints_steps. По умолчанию 600 секунд, если оба save_checkpoints_steps и save_checkpoints_secs не заданы в конструкторе. Если оба save_checkpoints_steps и save_checkpoints_secs не заданы, контрольные точки отключены. |
session_config | ConfigProto, используемый для задания параметров сеанса, или None. |
keep_checkpoint_max | Максимальное количество последних файлов контрольных точек для сохранения. По мере создания новых файлов старые удаляются. Если None или 0, все файлы контрольных точек сохраняются. По умолчанию 5 (сохраняются 5 последних файлов контрольных точек). Если с оценщиком передаётся сохранятель, этот аргумент будет проигнорирован. |
keep_checkpoint_every_n_hours | Количество часов между сохранением каждой контрольной точки. Значение по умолчанию 10 000 часов фактически отключает эту функцию. |
log_step_count_steps | Частота, в количестве глобальных шагов, с которой будет регистрироваться глобальный шаг и потеря во время обучения. Также контролирует частоту, с которой будут регистрироваться/записываться глобальные шаги/с (и записываться в сводки) во время обучения. |
train_distribute | Необязательный экземпляр tf.distribute.Strategy. Если указано, оценщик будет распределять модель пользователя во время обучения в соответствии с политикой, указанной этой стратегией. Лучше указать experimental_distribute.train_distribute. |
device_fn | Функция, вызываемая для каждого Operation, которая принимает Operation и возвращает строку устройства. Если None, по умолчанию функция устройства возвращается tf.train.replica_device_setter с круговой стратегией. |
protocol | Необязательный аргумент, определяющий протокол, используемый при запуске сервера. None означает по умолчанию grpc. |
eval_distribute | Необязательный экземпляр tf.distribute.Strategy. Если указано, оценщик будет распределять модель пользователя во время оценки в соответствии с политикой, указанной этой стратегией. Лучше указать experimental_distribute.eval_distribute. |
experimental_distribute | Необязательный объект, определяющий конфигурацию, связанную с DistributionStrategy. train_distribute и eval_distribute могут быть переданы как параметры RunConfig или установлены в experimental_distribute, но не оба. |
experimental_max_worker_delay_secs | Необязательное целое число, определяющее максимальное время ожидания рабочего процесса перед запуском. По умолчанию рабочие процессы запускаются со сдвигом во времени, с задержкой каждого рабочего процесса до 60 секунд. Это предназначено для уменьшения риска расхождения, который может возникнуть, когда много рабочих процессов одновременно обновляют веса случайно инициализированной модели. Пользователи, которые запустят свои модели с подогревом и будут тренировать их в течение коротких периодов времени (несколько минут или меньше), должны рассмотреть возможность снижения этого значения по умолчанию, чтобы улучшить время обучения. |
session_creation_timeout_secs | Максимальное время ожидания рабочими процессами доступности сеанса (при инициализации или восстановлении сеанса) с MonitoredTrainingSession. По умолчанию 7200 секунд, но пользователи могут установить меньшее значение, чтобы быстрее обнаруживать проблемы с переменной/сеансом (пере)инициализации. |
| Исключения | |
|---|---|
ValueError | Если оба save_checkpoints_steps и save_checkpoints_secs заданы. |
| Атрибуты | |
|---|---|
cluster_spec | |
device_fn | Возвращает device_fn. Если device_fn не |
eval_distribute | Необязательный tf.distribute.Strategy для оценки. |
evaluation_master | |
experimental_max_worker_delay_secs | |
global_id_in_cluster | Глобальный идентификатор в кластере обучения. Все глобальные идентификаторы в кластере обучения присваиваются из возрастающей последовательности последовательных целых чисел. Первый идентификатор равен 0.
Примечание: Идентификатор задачи (поле свойства
cluster = {'chief': ['host0:2222'],
'ps': ['host1:2222', 'host2:2222'],
'worker': ['host3:2222', 'host4:2222', 'host5:2222']}
Узлы с типом задачи Глобальный идентификатор, т. е. это поле, отслеживает индекс узла среди ВСЕХ узлов в кластере. Он присваивается уникально. Например, для указанного выше спецификации кластера глобальные идентификаторы присваиваются так: task_type | task_id | global_id -------------------------------- chief | 0 | 0 worker | 0 | 1 worker | 1 | 2 worker | 2 | 3 ps | 0 | 4 ps | 1 | 5 |
is_chief | |
keep_checkpoint_every_n_hours | |
keep_checkpoint_max | |
log_step_count_steps | |
master | |
model_dir | |
num_ps_replicas | |
num_worker_replicas | |
protocol | Возвращает необязательное значение протокола. |
save_checkpoints_secs | |
save_checkpoints_steps | |
save_summary_steps | |
service | Возвращает словарь сервисов, определённый платформой (в TF_CONFIG). |
session_config | |
session_creation_timeout_secs | |
task_id | |
task_type | |
tf_random_seed | |
train_distribute | Необязательный tf.distribute.Strategy для обучения. |
Методы
replace
replace(
**kwargs
)
Возвращает новый экземпляр RunConfig с заменой указанных свойств.
Заменять разрешены только свойства из следующего списка:
-
model_dir, -
tf_random_seed, -
save_summary_steps, -
save_checkpoints_steps, -
save_checkpoints_secs, -
session_config, -
keep_checkpoint_max, -
keep_checkpoint_every_n_hours, -
log_step_count_steps, -
train_distribute, -
device_fn, -
protocol. -
eval_distribute, -
experimental_distribute, -
experimental_max_worker_delay_secs,
Кроме того, можно установить либо save_checkpoints_steps или save_checkpoints_secs (не оба).
| Аргументы | |
|---|---|
**kwargs | свойства с именами-ключами и новыми значениями. |
| Исключения | |
|---|---|
ValueError | Если имя свойства в kwargs не существует, не разрешено для замены или оба save_checkpoints_steps и save_checkpoints_secs заданы. |
| Возвращает | |
|---|---|
новый экземпляр RunConfig. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/estimator/RunConfig