tf.data.experimental.service.CrossTrainerCache
Параметры, связанные с кэшем кросс-трейнеров службы tf.data.
tf.data.experimental.service.CrossTrainerCache(
trainer_id
)
Это используется для включения кэша кросс-трейнеров при распределении набора данных. Например:
dataset = dataset.apply(tf.data.experimental.service.distribute(
processing_mode=tf.data.experimental.service.ShardingPolicy.OFF,
service=FLAGS.tf_data_service_address,
job_name="job",
cross_trainer_cache=data_service_ops.CrossTrainerCache(
trainer_id=trainer_id())))
Дополнительные сведения см. в https://www.tensorflow.org/api_docs/python/tf/data/experimental/service#sharing_tfdata_service_with_concurrent_trainers
| Аргументы | |
|---|---|
trainer_id | У каждой обучающей задачи есть уникальный идентификатор. После того, как задача обработала данные, данные остаются в кэше и повторно используются задачами с другими trainer_id. Запросы с одинаковым trainer_id не повторно используют данные. |
| Исключения | |
|---|---|
ValueError, если trainer_id пусто. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/data/experimental/service/CrossTrainerCache