tf.keras.Optimizer

Класс для оптимизаторов Tensorflow.

tf.keras.Optimizer(
    *args, **kwargs
)

Основное изменение поведения этого класса относится к tf.distribute.

Он переопределяет методы из базового оптимизатора Keras core, которые предоставляют функциональность, специфичную для распределения, например, создание переменных, уменьшение потерь и т.д.

Методы

add_variable

Просмотреть исходный код

add_variable(
    shape,
    initializer='zeros',
    dtype=None,
    aggregation='mean',
    name=None
)

add_variable_from_reference

Просмотреть исходный код

add_variable_from_reference(
    reference_variable, name=None, initializer='zeros'
)

Добавляет переменную, заполненную нулями, с формой и типом данных переменной-справочника.

apply

Просмотреть исходный код

apply(
    grads, trainable_variables=None
)

Обновляет обучаемые переменные в соответствии с предоставленными значениями градиентов.

grads должна быть списком тензоров градиента с взаимно однозначным соответствием списку переменных, с которыми был построен оптимизатор.

trainable_variables могут быть предоставлены при первом вызове для построения оптимизатора.

apply_gradients

Просмотреть исходный код

apply_gradients(
    grads_and_vars
)

assign

Просмотреть исходный код

assign(
    variable, value
)

Назначает значение переменной.

Это следует использовать в оптимизаторах вместо variable.assign(value), чтобы поддерживать оптимизации, специфичные для бэкенда. Обратите внимание, что переменная может быть переменной модели или переменной оптимизатора; она может быть переменной, собственной для бэкенда, или переменной Keras.

assign_add

Просмотреть исходный код

assign_add(
    variable, value
)

Добавляет значение к переменной.

Это следует использовать в оптимизаторах вместо variable.assign_add(value), чтобы поддерживать оптимизации, специфичные для бэкенда. Обратите внимание, что переменная может быть переменной модели или переменной оптимизатора; она может быть переменной, собственной для бэкенда, или переменной Keras.

assign_sub

Просмотреть исходный код

assign_sub(
    variable, value
)

Вычитает значение из переменной.

Это следует использовать в оптимизаторах вместо variable.assign_sub(value), чтобы поддерживать оптимизации, специфичные для бэкенда. Обратите внимание, что переменная может быть переменной модели или переменной оптимизатора; она может быть переменной, собственной для бэкенда, или переменной Keras.

build

Просмотреть исходный код

build(
    variables
)

exclude_from_weight_decay

Просмотреть исходный код

exclude_from_weight_decay(
    var_list=None, var_names=None
)

Исключает переменные из расчета распада весов.

Этот метод должен быть вызван до вызова метода build оптимизатора. Вы можете указать конкретные переменные для исключения или задать список строковых анкеров, если любой из них встречается в имени переменной, то переменная исключается.

finalize_variable_values

Просмотреть исходный код

finalize_variable_values(
    var_list
)

Устанавливает окончательные значения обучаемых переменных модели.

Иногда перед завершением обновления переменных выполняются дополнительные шаги, например, переопределение переменных модели их средним значением.

from_config

Просмотреть исходный код

@classmethod
from_config(
    config, custom_objects=None
)

Создает оптимизатор из его конфигурации.

Этот метод является обратным к get_config, способному восстановить тот же оптимизатор из словаря конфигурации.

get_config

Просмотреть исходный код

get_config()

Возвращает конфигурацию оптимизатора.

Конфигурация оптимизатора — это словарь Python (сериализуемый), содержащий конфигурацию оптимизатора. Позже из этой конфигурации можно восстановить тот же оптимизатор (без сохранённого состояния).

Подклассы оптимизатора должны переопределять этот метод, чтобы включать другие гиперпараметры.

load_own_variables

Просмотреть исходный код

load_own_variables(
    store
)

Устанавливает состояние объекта оптимизатора.

save_own_variables

Просмотреть исходный код

save_own_variables(
    store
)

Получить состояние этого объекта оптимизатора.

scale_loss

Просмотреть исходный код

scale_loss(
    loss
)

Масштабировать потерю перед вычислением градиентов.

Масштабирует потерю перед вычислением градиентов в train_step. Это в первую очередь полезно при обучении с использованием смешанной точности, чтобы предотвратить численный подтек.

set_weights

Просмотреть исходный код

set_weights(
    weights
)

Установить веса оптимизатора.

stateless_apply

Просмотреть исходный код

stateless_apply(
    optimizer_variables, grads, trainable_variables
)

update_step

Просмотреть исходный код

update_step(
    gradient, variable, learning_rate
)