tf.experimental.dtensor.enable_save_as_bf16
Позволяет сохранять DVariables типа float32 в контрольной точке и восстанавливать их как bfloat16.
tf.experimental.dtensor.enable_save_as_bf16(
variables: List[tf.Variable]
)
Метод влияет только на часть DVariable внутри модели и не затрагивает переменные и тензоры, не являющиеся DTensor.
| Аргументы | |
|---|---|
variables | Список tf.Variable, для которых нужно включить сохранение и восстановление в формате bfloat16. Влияет только на переменные DTensor, поскольку они проходят через d_variables с логикой, специфичной для DTensor. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/experimental/dtensor/enable_save_as_bf16
