tf.compat.v1.variable_axis_size_partitioner
Получить партишенеров для VariableScope, чтобы поддерживать фрагменты ниже max_shard_bytes.
tf.compat.v1.variable_axis_size_partitioner(
max_shard_bytes, axis=0, bytes_per_string_element=16, max_shards=None
)
Этот партишенеров будет разбиение переменной по одной оси, пытаясь поддерживать максимальный размер фрагмента ниже max_shard_bytes. На практике это не всегда возможно при разбиении только по одной оси. Когда это происходит, эта ось разбивается по возможности (то есть каждая размерность становится отдельным фрагментом).
Если партишенеров достигает лимит max_shards, тогда каждый фрагмент может оказаться больше, чем max_shard_bytes. По умолчанию max_shards равно None и нет ограничений на количество фрагментов.
Одно разумное значение для max_shard_bytes - (64 << 20) - 1, или почти 64MB, чтобы оставаться ниже лимита байтов protobuf.
| Аргументы | |
|---|---|
max_shard_bytes | Максимальный размер, который может иметь любой фрагмент. |
axis | Ось для разбиения. По умолчанию: внешняя ось. |
bytes_per_string_element | Если Variable имеет тип string, это предоставляет оценку размера каждого скаляра в Variable. |
max_shards | Максимальное число фрагментов в int, имеющее приоритет над max_shard_bytes. |
| Возвращает | |
|---|---|
Функция разбиения, пригодная в качестве аргумента partitioner к variable_scope и get_variable. |
| Возможные исключения | |
|---|---|
ValueError | Если любой из подсчётов байтов имеет не положительное значение. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/compat/v1/variable_axis_size_partitioner
