tf.contrib.optimizer_v2.AdagradOptimizer

Оптимизатор, реализующий алгоритм Adagrad.

Наследуется от: OptimizerV2

tf.contrib.optimizer_v2.AdagradOptimizer(
    learning_rate, initial_accumulator_value=0.1, use_locking=False, name='Adagrad'
)

См. эту статью или это введение.

Аргументы
`learning_rate`	Вещественный гиперпараметр. Скорость обучения.
`initial_accumulator_value`	Вещественное значение. Начальное значение для аккумуляторов, должно быть положительным.
`use_locking`	Если `True` использовать блокировки для операций обновления.
`name`	Необязательное префиксное имя для операций, созданных при применении градиентов. По умолчанию "Adagrad".

Исключения
`ValueError`	Если `initial_accumulator_value` некорректен.

Методы

`apply_gradients`

Просмотреть исходный код

apply_gradients(
    grads_and_vars, global_step=None, name=None
)

Применить градиенты к переменным.

Это вторая часть minimize(). Она возвращает Operation, который применяет градиенты.

Аргументы
`grads_and_vars`	Список пар (градиент, переменная), возвращаемых `compute_gradients()`.
`global_step`	Необязательный `Variable` для инкремента на единицу после обновления переменных.
`name`	Необязательное имя возвращаемой операции. По умолчанию имя, переданное конструктору `Optimizer`.

Возвращаемое значение
`Operation` , применяющий заданные градиенты. Если `global_step` не было равно None, эта операция также увеличивает `global_step`.

Исключения
`TypeError`	Если `grads_and_vars` имеет неправильный формат.
`ValueError`	Если у ни одной из переменных нет градиентов.

`compute_gradients`

Просмотреть исходный код

compute_gradients(
    loss, var_list=None, gate_gradients=GATE_OP, aggregation_method=None,
    grad_loss=None, stop_gradients=None, scale_loss_by_num_replicas=False
)

Вычислить градиенты loss для переменных в var_list.

Это первая часть minimize(). Она возвращает список пар (градиент, переменная), где «градиент» — это градиент для «переменной». Обратите внимание, что «градиент» может быть Tensor, IndexedSlices, или None, если для данной переменной нет градиента.

Аргументы
`loss`	Тензор, содержащий значение для минимизации, или вызываемый объект без аргументов, возвращающий значение для минимизации. При включенном режиме выполнения Eager необходимо использовать вызываемый объект.
`var_list`	Необязательный список или кортеж `tf.Variable` для обновления с целью минимизации `loss`. По умолчанию список переменных, собранных в графике по ключу `GraphKeys.TRAINABLE_VARIABLES`.
`gate_gradients`	Способ управления вычислением градиентов. Может быть `GATE_NONE`, `GATE_OP`, или `GATE_GRAPH`.
`aggregation_method`	Указывает метод объединения градиентных слагаемых. Допустимые значения определены в классе `AggregationMethod`.
`grad_loss`	Необязательно. `Tensor`, содержащий градиент, вычисленный для `loss`.
`stop_gradients`	Необязательно. Тензор или список тензоров, по которым не нужно дифференцировать.
`scale_loss_by_num_replicas`	Необязательный логический тип. Если True, масштабирует потерю на коэффициент числа реплик. УСТЕРЕЖЕН и, как правило, больше не нужен.

Возвращаемое значение
Список пар (градиент, переменная). Переменная всегда присутствует, но градиент может быть `None`.

Исключения
`TypeError`	Если `var_list` содержит что-либо помимо объектов `Variable`.
`ValueError`	Если некоторые аргументы некорректны.
`RuntimeError`	Если вызывается с включенным режимом Eager и `loss` не является вызываемым объектом.

Совместимость с Eager

При включенном режиме Eager, gate_gradients, и aggregation_method игнорируются.

`get_name`

Просмотреть исходный код

get_name()

`get_slot`

Просмотреть исходный код

get_slot(
    var, name
)

Возвращает слот с именем name, созданный для var оптимизатором.

Некоторые подклассы Optimizer используют дополнительные переменные. Например, Momentum и Adagrad используют переменные для накопления обновлений. Этот метод предоставляет доступ к этим объектам Variable в случае необходимости.

Используйте get_slot_names() для получения списка имен слотов, созданных Optimizer.

Аргументы
`var`	Переменная, переданная в `minimize()` или `apply_gradients()`.
`name`	Строка.

Возвращаемое значение
`Variable` для слота, если он был создан, `None` в противном случае.

`get_slot_names`

Просмотреть исходный код

get_slot_names()

Возвращает список имён слотов, созданных Optimizer.

См. get_slot().

Возвращаемое значение
Список строк.

`minimize`

Просмотреть исходный код

minimize(
    loss, global_step=None, var_list=None, gate_gradients=GATE_OP,
    aggregation_method=None, name=None, grad_loss=None, stop_gradients=None,
    scale_loss_by_num_replicas=False
)

Добавить операции для минимизации loss путём обновления var_list.

Этот метод просто комбинирует вызовы compute_gradients() и apply_gradients(). Если вы хотите обработать градиент перед его применением, вызовите compute_gradients() и apply_gradients() явным образом вместо использования этой функции.

Аргументы
`loss`	`Tensor` , содержащий значение для минимизации.
`global_step`	Необязательный `Variable` для инкремента на единицу после обновления переменных.
`var_list`	Необязательный список или кортеж объектов `Variable` для обновления с целью минимизации `loss`. По умолчанию список переменных, собранных в графике по ключу `GraphKeys.TRAINABLE_VARIABLES`.
`gate_gradients`	Способ управления вычислением градиентов. Может быть `GATE_NONE`, `GATE_OP`, или `GATE_GRAPH`.
`aggregation_method`	Указывает метод объединения градиентных слагаемых. Допустимые значения определены в классе `AggregationMethod`.
`name`	Необязательное имя возвращаемой операции.
`grad_loss`	Необязательно. `Tensor` , содержащий градиент, вычисленный для `loss`.
`stop_gradients`	Необязательно. Тензор или список тензоров, по которым не нужно дифференцировать.
`scale_loss_by_num_replicas`	Необязательный логический тип. Если True, масштабирует потерю на коэффициент числа реплик. УСТЕРЕЖЕН и, как правило, больше не нужен.

Возвращаемое значение
Операция, обновляющая переменные в `var_list`. Если `global_step` не равно `None`, эта операция также увеличивает `global_step`.

Исключения
`ValueError`	Если некоторые из переменных не являются объектами `Variable` .

Совместимость с Eager

При включенном режиме немедленного выполнения, loss должна быть функцией Python, которая принимает элементы var_list в качестве аргументов и вычисляет значение, которое нужно минимизировать. Если var_list равно None, loss не должна принимать аргументов. Минимизация (и вычисление градиента) выполняется по отношению к элементам var_list если оно не None, иначе по отношению к любым обучаемым переменным, созданным во время выполнения функции loss. gate_gradients, aggregation_method, и grad_loss игнорируются при включенном режиме немедленного выполнения.

`variables`

Просмотреть исходный код

variables()

Список переменных, которые кодируют текущее состояние Optimizer.

Включает переменные слотов и дополнительные глобальные переменные, созданные оптимизатором в текущей стандартной графе.

Возвращаемое значение
Список переменных.

Переменные класса

GATE_GRAPH = 2
GATE_NONE = 0
GATE_OP = 1

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/contrib/optimizer_v2/AdagradOptimizer