tf.raw_ops.AutoShardDataset
Создаёт набор данных, который фрагментирует входной набор данных.
tf.raw_ops.AutoShardDataset(
input_dataset,
num_workers,
index,
output_types,
output_shapes,
auto_shard_policy=0,
num_replicas=0,
name=None
)
Создаёт набор данных, который фрагментирует входной набор данных по num_workers, возвращая фрагментированный набор данных для индексного работника. Это пытается автоматически фрагментировать набор данных, анализируя график набора данных и вставляя операцию фрагментации перед вводами в набор данных-читателя (например, CSVDataset, TFRecordDataset).
Этот набор данных выдаст ошибку NotFound, если мы не сможем автоматически фрагментировать набор данных.
| Аргументы | |
|---|---|
input_dataset | A Tensor типа variant. Векторный тензор, представляющий входной набор данных. |
num_workers | A Tensor типа int64. Скаляр, представляющий количество работников для распределения этого набора данных. |
index | A Tensor типа int64. Скаляр, представляющий индекс текущего работника из num_workers. |
output_types | Список tf.DTypes, длина которого >= 1. |
output_shapes | Список форм (каждая — tf.TensorShape или список ints), длина которого >= 1. |
auto_shard_policy | Необязательный int. По умолчанию 0. |
num_replicas | Необязательный int. По умолчанию 0. |
name | Имя операции (необязательно). |
| Возвращаемые значения | |
|---|---|
A Tensor типа variant. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/raw_ops/AutoShardDataset