tf.tpu.experimental.embedding.SGD

Параметры оптимизации стохастического градиентного спуска для встраиваний TPU.

Просмотреть псевдонимы

Псевдонимы для совместимости при миграции

Подробнее см. в руководстве по миграции.

tf.compat.v1.tpu.experimental.embedding.SGD

tf.tpu.experimental.embedding.SGD(
    learning_rate: Union[float, Callable[[], float]] = 0.01,
    use_gradient_accumulation: bool = True,
    clip_weight_min: Optional[float] = None,
    clip_weight_max: Optional[float] = None,
    weight_decay_factor: Optional[float] = None,
    multiply_weight_decay_factor_by_learning_rate: Optional[bool] = None,
    clipvalue: Optional[ClipValueType] = None,
    low_dimensional_packing_status: bool = False
)

Используется в блокнотах

Используется в руководствах
TensorFlow 2 TPUEmbeddingLayer: быстрый старт

Передайте это в tf.tpu.experimental.embedding.TPUEmbedding через аргумент optimizer, чтобы задать глобальный оптимизатор и его параметры:

embedding = tf.tpu.experimental.embedding.TPUEmbedding(
    ...
    optimizer=tf.tpu.experimental.embedding.SGD(0.1))

Это также можно использовать в tf.tpu.experimental.embedding.TableConfig в качестве параметра оптимизатора, чтобы задать оптимизатор для конкретной таблицы. Он переопределит оптимизатор и параметры глобального оптимизатора встраиваний, определённые выше:

table_one = tf.tpu.experimental.embedding.TableConfig(
    vocabulary_size=...,
    dim=...,
    optimizer=tf.tpu.experimental.embedding.SGD(0.2))
table_two = tf.tpu.experimental.embedding.TableConfig(
    vocabulary_size=...,
    dim=...)

feature_config = (
    tf.tpu.experimental.embedding.FeatureConfig(
        table=table_one),
    tf.tpu.experimental.embedding.FeatureConfig(
        table=table_two))

embedding = tf.tpu.experimental.embedding.TPUEmbedding(
    feature_config=feature_config,
    batch_size=...
    optimizer=tf.tpu.experimental.embedding.SGD(0.1))

В приведённом выше примере первая функция будет искаться в таблице со скоростью обучения 0.2, а вторая функция — в таблице со скоростью обучения 0.1.

Полное описание этих параметров и их влияния на алгоритм оптимизатора см. в файле 'tensorflow/core/protobuf/tpu/optimization_parameters.proto'.

Аргументы
`learning_rate`	Скорость обучения. Должна быть числом с плавающей запятой или функцией без аргументов для задания динамической скорости обучения.
`use_gradient_accumulation`	Если задать значение `False`, вычисление градиентов встраиваний станет менее точным, но более быстрым.
`clip_weight_min`	Минимальное значение для ограничения; None означает минус бесконечность.
`clip_weight_max`	Максимальное значение для ограничения; None означает плюс бесконечность.
`weight_decay_factor`	Величина применяемого затухания весов; None означает, что веса не затухают. На каждом шаге веса умножаются на этот коэффициент.
`multiply_weight_decay_factor_by_learning_rate`	Если значение равно true, `weight_decay_factor` умножается на текущую скорость обучения.
`clipvalue`	Управляет ограничением градиента. Задайте одно положительное скалярное значение для ограничения или кортеж из скалярных значений (min, max), чтобы установить отдельные максимальное и минимальное значения. Если одно из двух значений равно None, ограничение в соответствующем направлении не применяется. Обратите внимание: если задать это значение, производительность может снизиться, поскольку будет включено накопление градиентов (обычно оно отключено для SGD, так как не влияет на точность). Дополнительную информацию о накоплении градиентов и его влиянии на встраивания TPU см. в файле 'tensorflow/core/protobuf/tpu/optimization_parameters.proto'.
`low_dimensional_packing_status`	Состояние оптимизации упаковки встраиваний малой размерности: определяет, следует ли оптимизировать размещение в памяти таблиц встраиваний размерности 1, 2 и 4.

Методы

`eq`

Просмотреть исходный код

__eq__(
    other: Any
) -> Union[Any, bool]

Возвращает self==value.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/tpu/experimental/embedding/SGD