tf.compat.v1.variable_axis_size_partitioner
Получить партишенери для VariableScope, чтобы поддерживать фрагменты ниже max_shard_bytes.
tf.compat.v1.variable_axis_size_partitioner(
max_shard_bytes, axis=0, bytes_per_string_element=16, max_shards=None
)
Этот партишенери разделит переменную вдоль одной оси, пытаясь сохранить максимальный размер фрагмента ниже max_shard_bytes. На практике это не всегда возможно при фрагментации только по одной оси. Когда это происходит, эта ось фрагментируется по возможности (то есть каждая размерность становится отдельным фрагментом).
Если партишенери достигает предела max_shards, то каждый фрагмент может оказаться больше max_shard_bytes. По умолчанию max_shards равно None и ограничение на количество фрагментов не применяется.
Одно разумное значение для max_shard_bytes - (64 << 20) - 1, или почти 64MB, чтобы оставаться ниже предела байтов протокола.
| Аргументы | |
|---|---|
max_shard_bytes | Максимальный размер любого заданного фрагмента. |
axis | Ось для фрагментации. По умолчанию: внешняя ось. |
bytes_per_string_element | Если Variable имеет тип строки, это предоставляет оценку того, насколько велик каждый скаляр в Variable. |
max_shards | Максимальное количество фрагментов в виде целого числа, имеющего приоритет над max_shard_bytes. |
| Возвращаемое значение | |
|---|---|
Функция разбиения, которая может использоваться как аргумент partitioner к variable_scope и get_variable. |
| Исключения | |
|---|---|
ValueError | Если какой-либо из подсчётов байтов имеет не положительное значение. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/compat/v1/variable_axis_size_partitioner
