tf.raw_ops.AutoShardDataset
Создаёт набор данных, фрагментирующий входной набор данных.
tf.raw_ops.AutoShardDataset(
input_dataset, num_workers, index, output_types, output_shapes,
auto_shard_policy=0, name=None
)
Создаёт набор данных, фрагментирующий входной набор данных по num_workers, возвращая фрагментированный набор данных для индексного работника. Эта функция пытается автоматически фрагментировать набор данных, анализируя граф набора данных и вставляя операцию фрагментации перед входами в набор данных-читатель (например, CSVDataset, TFRecordDataset).
Этот набор данных выбросит ошибку NotFound, если мы не сможем автоматически фрагментировать набор данных.
| Аргументы | |
|---|---|
input_dataset | A Tensor типа variant. Вариант тензор, представляющий входной набор данных. |
num_workers | A Tensor типа int64. Скаляр, представляющий количество работников, на которых будет распределён этот набор данных. |
index | A Tensor типа int64. Скаляр, представляющий индекс текущего работника из num_workers. |
output_types | Список tf.DTypes, длина которого >= 1. |
output_shapes | Список форм (каждая — tf.TensorShape или список ints), длина которого >= 1. |
auto_shard_policy | Необязательный int. По умолчанию 0. |
name | Имя операции (необязательно). |
| Возвращаемое значение | |
|---|---|
A Tensor типа variant. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/raw_ops/AutoShardDataset