tf.keras.optimizers.SGD

Оптимизатор градиентного спуска (с моментом).

Наследует: Optimizer

tf.keras.optimizers.SGD(
    learning_rate=0.01,
    momentum=0.0,
    nesterov=False,
    weight_decay=None,
    clipnorm=None,
    clipvalue=None,
    global_clipnorm=None,
    use_ema=False,
    ema_momentum=0.99,
    ema_overwrite_frequency=None,
    loss_scale_factor=None,
    gradient_accumulation_steps=None,
    name='SGD',
    **kwargs
)

Используется в блокнотах

Правило обновления параметра w с градиентом g, если momentum равно 0:

w = w - learning_rate * g

Правило обновления, если momentum больше 0:

velocity = momentum * velocity - learning_rate * g
w = w + velocity

Если nesterov=True, это правило принимает вид:

velocity = momentum * velocity - learning_rate * g
w = w + momentum * velocity - learning_rate * g

Методы

add_variable

Посмотреть исходный код

add_variable(
    shape,
    initializer='zeros',
    dtype=None,
    aggregation='mean',
    name=None
)

add_variable_from_reference

Посмотреть исходный код

add_variable_from_reference(
    reference_variable, name=None, initializer='zeros'
)

Добавляет переменную, заполненную нулями, с формой и типом данных эталонной переменной.

apply

Посмотреть исходный код

apply(
    grads, trainable_variables=None
)

Обновляет обучаемые переменные на основе переданных значений градиентов.

grads должен быть списком тензоров градиентов, соответствующих один к одному списку переменных, с которыми был создан оптимизатор.

trainable_variables можно передать при первом вызове для создания оптимизатора.

apply_gradients

Посмотреть исходный код

apply_gradients(
    grads_and_vars
)

assign

Посмотреть исходный код

assign(
    variable, value
)

Присваивает переменной значение.

В оптимизаторах этот метод следует использовать вместо variable.assign(value) для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменной может быть переменная модели или оптимизатора; это может быть нативная переменная бэкенда или переменная Keras.

assign_add

Посмотреть исходный код

assign_add(
    variable, value
)

Добавляет значение к переменной.

В оптимизаторах этот метод следует использовать вместо variable.assign_add(value) для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменной может быть переменная модели или оптимизатора; это может быть нативная переменная бэкенда или переменная Keras.

assign_sub

Посмотреть исходный код

assign_sub(
    variable, value
)

Вычитает значение из переменной.

В оптимизаторах этот метод следует использовать вместо variable.assign_sub(value) для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменной может быть переменная модели или оптимизатора; это может быть нативная переменная бэкенда или переменная Keras.

build

Посмотреть исходный код

build(
    variables
)

Инициализирует переменные оптимизатора.

У оптимизатора SGD есть одна переменная momentums, которая задаётся только при условии, что self.momentum не равно 0.

exclude_from_weight_decay

Посмотреть исходный код

exclude_from_weight_decay(
    var_list=None, var_names=None
)

Исключает переменные из затухания весов.

Этот метод необходимо вызвать до вызова метода оптимизатора build. Можно указать отдельные переменные для исключения или задать список строк-якорей: если какая-либо из них встречается в имени переменной, эта переменная исключается.

finalize_variable_values

Посмотреть исходный код

finalize_variable_values(
    var_list
)

Устанавливает окончательные значения обучаемых переменных модели.

Иногда перед завершением обновления переменных требуются дополнительные действия, например замена переменных модели их средними значениями.

from_config

Посмотреть исходный код

@classmethod
from_config(
    config, custom_objects=None
)

Создаёт оптимизатор на основе его конфигурации.

Этот метод является обратным по отношению к get_config и позволяет создать тот же оптимизатор из словаря конфигурации.

get_config

Посмотреть исходный код

get_config()

Возвращает конфигурацию оптимизатора.

Конфигурация оптимизатора — это сериализуемый словарь Python, содержащий параметры оптимизатора. Позднее по этой конфигурации можно создать такой же оптимизатор (без сохранённого состояния).

Классу-наследнику оптимизатора следует переопределить этот метод, чтобы включить другие гиперпараметры.

load_own_variables

Посмотреть исходный код

load_own_variables(
    store
)

Задаёт состояние этого объекта оптимизатора.

save_own_variables

Посмотреть исходный код

save_own_variables(
    store
)

Получает состояние этого объекта оптимизатора.

scale_loss

Посмотреть исходный код

scale_loss(
    loss
)

Масштабирует функцию потерь перед вычислением градиентов.

Масштабирует функцию потерь перед вычислением градиентов в train_step. Это прежде всего полезно при обучении со смешанной точностью, чтобы предотвратить численное переполнение снизу.

set_weights

Посмотреть исходный код

set_weights(
    weights
)

Задаёт веса оптимизатора.

stateless_apply

Посмотреть исходный код

stateless_apply(
    optimizer_variables, grads, trainable_variables
)

update_step

Посмотреть исходный код

update_step(
    gradient, variable, learning_rate
)

Обновляет шаг на основе градиента и соответствующей переменной модели.