Spec-Zone.ru › TensorFlow 2.9

tf.compat.v1.tpu.experimental.AdagradParameters

Параметры оптимизации для Adagrad с TPU встраиваниями.

tf.compat.v1.tpu.experimental.AdagradParameters(
    learning_rate: float,
    initial_accumulator: float = 0.1,
    use_gradient_accumulation: bool = True,
    clip_weight_min: Optional[float] = None,
    clip_weight_max: Optional[float] = None,
    weight_decay_factor: Optional[float] = None,
    multiply_weight_decay_factor_by_learning_rate: Optional[bool] = None,
    clip_gradient_min: Optional[float] = None,
    clip_gradient_max: Optional[float] = None
)

Передайте это в tf.estimator.tpu.experimental.EmbeddingConfigSpec через аргумент optimization_parameters, чтобы установить оптимизатор и его параметры. См. документацию для tf.estimator.tpu.experimental.EmbeddingConfigSpec, чтобы узнать больше.

estimator = tf.estimator.tpu.TPUEstimator(
    ...
    embedding_spec=tf.estimator.tpu.experimental.EmbeddingConfigSpec(
        ...
        optimization_parameters=tf.tpu.experimental.AdagradParameters(0.1),
        ...))
Аргументы
learning_rate используется для обновления таблицы встраивания.
initial_accumulator начальное значение аккумулятора для Adagrad.
use_gradient_accumulation установка этого значения в False делает вычисление градиентов встраивания менее точным, но быстрее. Пожалуйста, см. optimization_parameters.proto для деталей.
clip_weight_min минимальное значение для обрезки; None означает -бесконечность.
clip_weight_max максимальное значение для обрезки; None означает +бесконечность.
weight_decay_factor величина распада весов для применения; None означает, что веса не распадаются.
multiply_weight_decay_factor_by_learning_rate если true, weight_decay_factor умножается на текущую скорость обучения.
clip_gradient_min минимальное значение для обрезки; None означает -бесконечность. Суммирование градиентов должно быть установлено в true, если это значение установлено.
clip_gradient_max максимальное значение для обрезки; None означает +бесконечность. Суммирование градиентов должно быть установлено в true, если это значение установлено.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/compat/v1/tpu/experimental/AdagradParameters

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API