Spec-Zone.ru › TensorFlow

tf.train.CheckpointOptions

Параметры создания контрольной точки.

Псевдонимы

Псевдонимы для совместимости при миграции

Подробнее см. в руководстве по миграции.

tf.compat.v1.train.CheckpointOptions

tf.train.CheckpointOptions(
    experimental_io_device=None,
    experimental_enable_async_checkpoint=False,
    experimental_write_callbacks=None,
    enable_async=False,
    experimental_skip_slot_variables=False,
    experimental_sharding_callback=None
)

Используется в качестве аргумента options для методов tf.train.Checkpoint.save() или tf.train.Checkpoint.restore(), чтобы настроить сохранение и восстановление переменных.

Пример: выполнение операций ввода-вывода на «localhost» при сохранении контрольной точки:

step = tf.Variable(0, name="step")
checkpoint = tf.train.Checkpoint(step=step)
options = tf.train.CheckpointOptions(experimental_io_device="/job:localhost")
checkpoint.save("/tmp/ckpt", options=options)
Аргументы
experimental_io_device string. Применяется в распределенной среде. Устройство TensorFlow, используемое для доступа к файловой системе. Если None (значение по умолчанию), для каждой переменной доступ к файловой системе осуществляется с устройства CPU:0 узла, которому назначена эта переменная. Если указано значение, для всех переменных доступ к файловой системе осуществляется с указанного устройства. Это, например, полезно, если нужно сохранить данные в локальный каталог, например «/tmp», при работе в распределенной среде. В этом случае укажите устройство узла, на котором доступен каталог «/tmp».
experimental_enable_async_checkpoint Тип bool. Устарело, используйте параметр enable_async.
experimental_write_callbacks List[Callable]. Список функций обратного вызова, которые будут выполнены после завершения каждого события сохранения (то есть после save() или write()). Для асинхронной контрольной точки функции обратного вызова будут выполнены только после завершения сохранения в асинхронном потоке. Возвращаемые значения функций обратного вызова игнорируются. Функции обратного вызова могут принимать save_path (результат save() или write()) в качестве аргумента. Функции обратного вызова будут выполнены в порядке, заданном в этом списке, после записи контрольной точки.
enable_async Тип bool. Указывает, включено ли асинхронное сохранение контрольных точек. По умолчанию — False, то есть асинхронное сохранение контрольных точек отключено. При асинхронном сохранении запись файла контрольной точки выполняется не в основном потоке, поэтому модель может продолжать обучение в фоновом режиме записи файла контрольной точки. Асинхронное сохранение сокращает время простоя устройства TPU и ускоряет обучение модели, но может увеличить потребление памяти.
experimental_skip_slot_variables Тип bool. Если значение равно true, переменные слотов игнорируются при восстановлении. Контекст: слои TPU Embedding для Serving некорректно восстанавливают переменные слотов. Этот параметр позволяет пропустить восстановление переменных слотов, которые в любом случае не нужны для использования в Serving. (b/315912101)
experimental_sharding_callback tf.train.experimental.ShardingCallback. Готовая или пользовательская функция обратного вызова, определяющая способ разбиения контрольных точек на части при хранении на диске. Доступны следующие готовые функции обратного вызова: tf.train.experimental.ShardByDevicePolicy и tf.train.experimental.MaxShardSizePolicy. Также можно написать собственную функцию обратного вызова; см. tf.train.experimental.ShardingCallback.
Атрибуты
enable_async
experimental_enable_async_checkpoint
experimental_io_device
experimental_sharding_callback
experimental_skip_slot_variables
experimental_write_callbacks

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/train/CheckpointOptions

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API