tf.compat.v1.tpu.experimental.FtrlParameters

Параметры оптимизации для Ftrl с TPU-вложениями.

tf.compat.v1.tpu.experimental.FtrlParameters(
    learning_rate: float,
    learning_rate_power: float = -0.5,
    initial_accumulator_value: float = 0.1,
    l1_regularization_strength: float = 0.0,
    l2_regularization_strength: float = 0.0,
    use_gradient_accumulation: bool = True,
    clip_weight_min: Optional[float] = None,
    clip_weight_max: Optional[float] = None,
    weight_decay_factor: Optional[float] = None,
    multiply_weight_decay_factor_by_learning_rate: Optional[bool] = None,
    multiply_linear_by_learning_rate: bool = False,
    beta: float = 0,
    allow_zero_accumulator: bool = False,
    clip_gradient_min: Optional[float] = None,
    clip_gradient_max: Optional[float] = None
)

Передайте это в tf.estimator.tpu.experimental.EmbeddingConfigSpec через аргумент optimization_parameters, чтобы установить оптимизатор и его параметры. Подробнее см. документацию по tf.estimator.tpu.experimental.EmbeddingConfigSpec.

estimator = tf.estimator.tpu.TPUEstimator(
    ...
    embedding_config_spec=tf.estimator.tpu.experimental.EmbeddingConfigSpec(
        ...
        optimization_parameters=tf.tpu.experimental.FtrlParameters(0.1),
        ...))

Аргументы
`learning_rate`	значение с плавающей точкой. Скорость обучения.
`learning_rate_power`	Значение с плавающей точкой, должно быть меньше или равно нулю. Управляет тем, как скорость обучения уменьшается во время обучения. Используйте ноль для фиксированной скорости обучения. См. раздел 3.1 в статье.
`initial_accumulator_value`	Начальное значение для аккумуляторов. Разрешены только нулевые или положительные значения.
`l1_regularization_strength`	Значение с плавающей точкой, должно быть больше или равно нулю.
`l2_regularization_strength`	Значение с плавающей точкой, должно быть больше или равно нулю.
`use_gradient_accumulation`	Установка этого значения в `False` делает вычисление градиентов вложений менее точным, но быстрее. Подробнее см. `optimization_parameters.proto`.
`clip_weight_min`	минимальное значение для обрезки; None означает -бесконечность.
`clip_weight_max`	максимальное значение для обрезки; None означает +бесконечность.
`weight_decay_factor`	величина применения сброса весов; None означает, что веса не сбрасываются.
`multiply_weight_decay_factor_by_learning_rate`	если true, `weight_decay_factor` умножается на текущую скорость обучения.
`multiply_linear_by_learning_rate`	Если true, умножает использование линейного слота в обновлении весов на скорость обучения. Это полезно при увеличении скорости обучения от 0 (что обычно приводит к NaN).
`beta`	Параметр бета для FTRL.
`allow_zero_accumulator`	Изменяет реализацию квадратного корня, чтобы учесть случай, когда начальное_значение_аккумулятора равно нулю. Это приведет к небольшому падению производительности.
`clip_gradient_min`	минимальное значение для обрезки; None означает -бесконечность. Суммирование градиентов должно быть установлено в true, если это установлено.
`clip_gradient_max`	максимальное значение для обрезки; None означает +бесконечность. Суммирование градиентов должно быть установлено в true, если это установлено.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/compat/v1/tpu/experimental/FtrlParameters