tf.tpu.experimental.embedding.Adagrad

Параметры оптимизации для Adagrad с TPU вложениями.

Просмотр псевдонимов

Псевдонимы совместимости для миграции

См. Руководство по миграции для получения дополнительных сведений.

tf.compat.v1.tpu.experimental.embedding.Adagrad

tf.tpu.experimental.embedding.Adagrad(
    learning_rate: Union[float, Callable[[], float]] = 0.001,
    initial_accumulator_value: float = 0.1,
    use_gradient_accumulation: bool = True,
    clip_weight_min: Optional[float] = None,
    clip_weight_max: Optional[float] = None,
    weight_decay_factor: Optional[float] = None,
    multiply_weight_decay_factor_by_learning_rate: Optional[bool] = None,
    slot_variable_creation_fn: Optional[SlotVarCreationFnType] = None,
    clipvalue: Optional[ClipValueType] = None,
    low_dimensional_packing_status: bool = False
)

Передайте это в tf.tpu.experimental.embedding.TPUEmbedding через аргумент optimizer, чтобы установить глобальный оптимизатор и его параметры:

embedding = tf.tpu.experimental.embedding.TPUEmbedding(
    ...
    optimizer=tf.tpu.experimental.embedding.Adagrad(0.1))

Это также можно использовать в tf.tpu.experimental.embedding.TableConfig в качестве параметра оптимизатора, чтобы установить оптимизатор для конкретной таблицы. Это переопределит оптимизатор и параметры для глобального оптимизатора вложений, определенного выше:

table_one = tf.tpu.experimental.embedding.TableConfig(
    vocabulary_size=...,
    dim=...,
    optimizer=tf.tpu.experimental.embedding.Adagrad(0.2))
table_two = tf.tpu.experimental.embedding.TableConfig(
    vocabulary_size=...,
    dim=...)

feature_config = (
    tf.tpu.experimental.embedding.FeatureConfig(
        table=table_one),
    tf.tpu.experimental.embedding.FeatureConfig(
        table=table_two))

embedding = tf.tpu.experimental.embedding.TPUEmbedding(
    feature_config=feature_config,
    batch_size=...
    optimizer=tf.tpu.experimental.embedding.Adagrad(0.1))

В приведенном выше примере первый признак будет найден в таблице с коэффициентом обучения 0,2, а второй признак — в таблице с коэффициентом обучения 0,1.

См. «tensorflow/core/protobuf/tpu/optimization_parameters.proto» для полного описания этих параметров и их воздействия на алгоритм оптимизатора.

Аргументы
`learning_rate`	Коэффициент обучения. Должен быть числовым значением с плавающей точкой или вызываемой функцией без аргументов для динамического коэффициента обучения.
`initial_accumulator_value`	начальное значение аккумулятора для Adagrad.
`use_gradient_accumulation`	Установка этого значения в `False` делает вычисление градиентов вложений менее точным, но быстрее.
`clip_weight_min`	минимальное значение для обрезки; None означает -бесконечность.
`clip_weight_max`	максимальное значение для обрезки; None означает +бесконечность.
`weight_decay_factor`	величина применения убывания весов; None означает, что веса не уменьшаются.
`multiply_weight_decay_factor_by_learning_rate`	если true, `weight_decay_factor` умножается на текущий коэффициент обучения.
`slot_variable_creation_fn`	Если вы хотите напрямую управлять созданием переменных слотов, установите это значение в вызываемую функцию с тремя параметрами: переменной таблицы, списком имён слотов для создания для неё и списком инициализаторов. Эта функция должна возвращать словарь с именами слотов в качестве ключей и созданными переменными в качестве значений с типами, соответствующими переменной таблицы. При установке в значение None (по умолчанию) используется встроенное создание переменных.
`clipvalue`	Управление обрезкой градиента. Установите либо одно положительное скалярное значение для обрезки, либо кортеж скалярных значений (min, max) для установки отдельного максимального или минимального значения. Если одно из двух значений равно None, то обрезка в этом направлении не будет выполнена.
`low_dimensional_packing_status`	Статус оптимизации упаковки вложений малого размера управляет тем, нужно ли оптимизировать упаковку таблиц вложений размерности 1, 2 и 4 в памяти.

Методы

`eq`

Просмотреть исходный код

__eq__(
    other: Any
) -> Union[Any, bool]

Возвращает self==value.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/tpu/experimental/embedding/Adagrad