tf.tpu.experimental.embedding.Adagrad

Параметры оптимизации Adagrad для встраиваний на TPU.

Просмотреть псевдонимы

Псевдонимы для совместимости при миграции

Подробнее см. в руководстве по миграции.

tf.compat.v1.tpu.experimental.embedding.Adagrad

tf.tpu.experimental.embedding.Adagrad(
    learning_rate: Union[float, Callable[[], float]] = 0.001,
    initial_accumulator_value: float = 0.1,
    use_gradient_accumulation: bool = True,
    clip_weight_min: Optional[float] = None,
    clip_weight_max: Optional[float] = None,
    weight_decay_factor: Optional[float] = None,
    multiply_weight_decay_factor_by_learning_rate: Optional[bool] = None,
    slot_variable_creation_fn: Optional[SlotVarCreationFnType] = None,
    clipvalue: Optional[ClipValueType] = None,
    low_dimensional_packing_status: bool = False
)

Передайте этот объект в tf.tpu.experimental.embedding.TPUEmbedding через аргумент optimizer, чтобы задать глобальный оптимизатор и его параметры:

embedding = tf.tpu.experimental.embedding.TPUEmbedding(
    ...
    optimizer=tf.tpu.experimental.embedding.Adagrad(0.1))

Его также можно использовать в tf.tpu.experimental.embedding.TableConfig в качестве параметра оптимизатора, чтобы задать оптимизатор для конкретной таблицы. Он переопределит оптимизатор и параметры глобального оптимизатора встраиваний, заданные выше:

table_one = tf.tpu.experimental.embedding.TableConfig(
    vocabulary_size=...,
    dim=...,
    optimizer=tf.tpu.experimental.embedding.Adagrad(0.2))
table_two = tf.tpu.experimental.embedding.TableConfig(
    vocabulary_size=...,
    dim=...)

feature_config = (
    tf.tpu.experimental.embedding.FeatureConfig(
        table=table_one),
    tf.tpu.experimental.embedding.FeatureConfig(
        table=table_two))

embedding = tf.tpu.experimental.embedding.TPUEmbedding(
    feature_config=feature_config,
    batch_size=...
    optimizer=tf.tpu.experimental.embedding.Adagrad(0.1))

В приведённом выше примере первый признак будет искаться в таблице со скоростью обучения 0.2, а второй признак — в таблице со скоростью обучения 0.1.

Полное описание этих параметров и их влияния на алгоритм оптимизатора см. в файле 'tensorflow/core/protobuf/tpu/optimization_parameters.proto'.

Аргументы
`learning_rate`	Скорость обучения. Должна быть числом с плавающей запятой или вызываемым объектом без аргументов для динамической скорости обучения.
`initial_accumulator_value`	Начальное значение аккумулятора для Adagrad.
`use_gradient_accumulation`	Если задать значение `False`, вычисление градиентов встраиваний будет менее точным, но более быстрым.
`clip_weight_min`	Минимальное значение для ограничения; None означает −бесконечность.
`clip_weight_max`	Максимальное значение для ограничения; None означает +бесконечность.
`weight_decay_factor`	Величина применяемого уменьшения весов; None означает, что веса не уменьшаются.
`multiply_weight_decay_factor_by_learning_rate`	Если значение равно true, `weight_decay_factor` умножается на текущую скорость обучения.
`slot_variable_creation_fn`	Чтобы напрямую управлять созданием переменных слотов, задайте вызываемый объект с тремя параметрами: переменной таблицы, списком имён создаваемых слотов и списком инициализаторов. Эта функция должна возвращать словарь, в котором имена слотов выступают ключами, а созданные переменные — значениями; их типы должны соответствовать типу переменной таблицы. Если задано значение None (по умолчанию), используется встроенный механизм создания переменных.
`clipvalue`	Управляет ограничением градиента. Задайте одно положительное скалярное значение, чтобы включить ограничение, либо кортеж скалярных значений (min, max), чтобы установить отдельные максимальное и минимальное значения. Если один из двух элементов равен None, ограничение в соответствующем направлении не применяется.
`low_dimensional_packing_status`	Состояние оптимизации упаковки встраиваний малой размерности определяет, следует ли оптимизировать размещение в памяти таблиц встраиваний размерностью 1, 2 и 4.

Методы

`eq`

Посмотреть исходный код

__eq__(
    other: Any
) -> Union[Any, bool]

Возвращает результат сравнения self==value.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/tpu/experimental/embedding/Adagrad