tf.keras.mixed_precision.LossScaleOptimizer

Оптимизатор, который динамически масштабирует потерю для предотвращения потери точности из-за подпорогового значения.

Наследуется от: Optimizer

tf.keras.mixed_precision.LossScaleOptimizer(
    inner_optimizer,
    initial_scale=(2.0 ** 15),
    dynamic_growth_steps=2000,
    **kwargs
)

Используется в ноутбуках

Масштабирование потерь — это техника предотвращения потери точности из-за подпорогового значения в промежуточных градиентах при использовании float16. Для предотвращения потери точности, потеря умножается (или «масштабируется») на определённый множитель, называемый «масштабом потерь», что приводит к масштабированию промежуточных градиентов на масштаб потерь. Конечные градиенты делятся (или «рассмасштабиваются») на масштаб потерь, чтобы вернуть их к исходному значению.

LossScaleOptimizer оборачивает другой оптимизатор и применяет к нему динамическое масштабирование потерь. Этот масштаб потерь динамически обновляется со временем следующим образом:

• На любом шаге обучения, если встречается бесконечный градиент, масштаб потерь уменьшается вдвое, и шаг обучения пропускается.
• Если dynamic_growth_steps произошли с момента последнего обновления масштаба потерь, и не произошло бесконечных градиентов, масштаб потерь удваивается.

Методы

add_variable

Просмотреть исходный код

add_variable(
    shape,
    initializer='zeros',
    dtype=None,
    aggregation='mean',
    name=None
)

add_variable_from_reference

Просмотреть исходный код

add_variable_from_reference(
    reference_variable, name=None, initializer='zeros'
)

Добавить переменную со всеми нулями с формой и типом данных переменной-справочника.

apply

Просмотреть исходный код

apply(
    grads, trainable_variables=None
)

Обновить обучаемые переменные в соответствии с предоставленными значениями градиентов.

grads должен быть списком тензоров градиента с 1:1 соответствием списку переменных, с которыми был создан оптимизатор.

trainable_variables может быть предоставлен при первом вызове для построения оптимизатора.

apply_gradients

Просмотреть исходный код

apply_gradients(
    grads_and_vars
)

assign

Просмотреть исходный код

assign(
    variable, value
)

Присвоить значение переменной.

Это следует использовать в оптимизаторах вместо variable.assign(value) для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменная может быть переменной модели или переменной оптимизатора; она может быть переменной родного бэкенда или переменной Keras.

assign_add

Просмотреть исходный код

assign_add(
    variable, value
)

Добавить значение к переменной.

Это следует использовать в оптимизаторах вместо variable.assign_add(value) для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменная может быть переменной модели или переменной оптимизатора; она может быть переменной родного бэкенда или переменной Keras.

assign_sub

Просмотреть исходный код

assign_sub(
    variable, value
)

Вычесть значение из переменной.

Это следует использовать в оптимизаторах вместо variable.assign_sub(value) для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменная может быть переменной модели или переменной оптимизатора; она может быть переменной родного бэкенда или переменной Keras.

build

Просмотреть исходный код

build(
    var_list
)

check_finite

Просмотреть исходный код

check_finite(
    grads
)

exclude_from_weight_decay

Просмотреть исходный код

exclude_from_weight_decay(
    var_list=None, var_names=None
)

Исключить переменные из расчёта weight decay.

Этот метод необходимо вызвать до вызова метода build оптимизатора. Можно указать конкретные переменные для исключения или список строк-ключей. Если любая из этих строк встречается в имени переменной, то переменная исключается.

finalize_variable_values

Просмотреть исходный код

finalize_variable_values(
    var_list
)

Установить конечное значение обучаемых переменных модели.

Иногда перед завершением обновления переменных требуется выполнить дополнительные действия, например, переопределить переменные модели их средним значением.

from_config

Просмотреть исходный код

@classmethod
from_config(
    config, custom_objects=None
)

Создаёт оптимизатор по его конфигурации.

Этот метод является обратным get_config, позволяющим создать тот же оптимизатор из словаря конфигурации.

get_config

Просмотреть исходный код

get_config()

Возвращает конфигурацию оптимизатора.

Конфигурация оптимизатора — это словарь Python (сериализуемый), содержащий конфигурацию оптимизатора. Этот оптимизатор можно будет позже восстановить (без сохранённого состояния) по этой конфигурации.

Подклассы оптимизаторов должны переопределить этот метод, чтобы включить другие гиперпараметры.

load_own_variables

Просмотреть исходный код

load_own_variables(
    store
)

Установить состояние объекта оптимизатора.

save_own_variables

Просмотреть исходный код

save_own_variables(
    store
)

Получить состояние объекта оптимизатора.

scale_loss

Просмотреть исходный код

scale_loss(
    loss
)

Масштабировать потерю перед вычислением градиентов.

Масштабирует потерю перед вычислением градиентов в оптимизаторе. Это преимущественно полезно во время обучения с применением смешанной точности, чтобы предотвратить численные подпотоки.

set_weights

Просмотреть исходный код

set_weights(
    weights
)

Установить веса оптимизатора.

stateless_apply

Просмотреть исходный код

stateless_apply(
    optimizer_variables, grads, trainable_variables
)

update_step

Просмотреть исходный код

update_step(
    gradient, variable, learning_rate
)