tf.variable_axis_size_partitioner
Получить разбиение для VariableScope, чтобы сохранить фрагменты ниже max_shard_bytes.
tf.variable_axis_size_partitioner(
max_shard_bytes, axis=0, bytes_per_string_element=16, max_shards=None
)
Этот разбиение разделит переменную вдоль одной оси, пытаясь сохранить максимальный размер фрагмента ниже max_shard_bytes. На практике это не всегда возможно при фрагментации только по одной оси. В этом случае эта ось фрагментируется по возможности (то есть каждый размер становится отдельным фрагментом).
Если разбиение достигнет предела max_shards, каждый фрагмент может оказаться больше, чем max_shard_bytes. По умолчанию max_shards равно None, и ограничение на количество фрагментов не применяется.
Разумное значение для max_shard_bytes составляет (64 << 20) - 1, или почти 64MB, чтобы оставаться ниже предела байтов протокола.
| Аргументы | |
|---|---|
max_shard_bytes | Максимальный размер разрешенного фрагмента. |
axis | Ось, по которой происходит разбиение. По умолчанию: внешняя ось. |
bytes_per_string_element | Если Variable является строкой, это дает оценку размера каждого скаляра в Variable. |
max_shards | Максимальное количество фрагментов в целых числах, созданных с приоритетом над max_shard_bytes. |
| Возвращает | |
|---|---|
Функция разбиения, пригодная в качестве аргумента partitioner для variable_scope и get_variable. |
| Исключения | |
|---|---|
ValueError | Если какие-либо из счетчиков байтов не положительны. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/variable_axis_size_partitioner
