tf.compat.v1.variable_axis_size_partitioner
Получить разделитель для VariableScope, чтобы сохранить фрагменты ниже max_shard_bytes.
tf.compat.v1.variable_axis_size_partitioner(
max_shard_bytes, axis=0, bytes_per_string_element=16, max_shards=None
)
Этот разделитель разделит переменную вдоль одной оси, пытаясь сохранить максимальный размер фрагмента ниже max_shard_bytes. На практике это не всегда возможно при фрагментации только по одной оси. Когда это происходит, эта ось фрагментируется по максимуму (т.е., каждая размерность становится отдельным фрагментом).
Если разделитель достигнет предела max_shards, то каждый фрагмент может получиться больше, чем max_shard_bytes. По умолчанию max_shards равно None, и никакого ограничения на количество фрагментов не налагается.
Одно разумное значение для max_shard_bytes — это (64 << 20) - 1 или почти 64MB, чтобы оставаться ниже предела байтов протокола.
| Аргументы | |
|---|---|
max_shard_bytes | Максимальный размер каждого фрагмента. |
axis | Ось, по которой происходит разбиение. По умолчанию: самая внешняя ось. |
bytes_per_string_element | Если Variable имеет тип string, это предоставляет оценку размера каждого скаляра в Variable. |
max_shards | Максимальное количество фрагментов в виде целого числа, имеющее приоритет над max_shard_bytes. |
| Возвращаемые значения | |
|---|---|
Функция разбиения, пригодная в качестве аргумента partitioner к variable_scope и get_variable. |
| Исключения | |
|---|---|
ValueError | Если любой из подсчётов байтов не положителен. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/compat/v1/variable_axis_size_partitioner
