tf.train.ProximalGradientDescentOptimizer
Оптимизатор, реализующий алгоритм стохастического градиентного спуска с проксимальным обновлением.
Наследуется от: Optimizer
tf.train.ProximalGradientDescentOptimizer(
learning_rate, l1_regularization_strength=0.0, l2_regularization_strength=0.0,
use_locking=False, name='ProximalGradientDescent'
)
См. эту статью.
| Аргументы | |
|---|---|
learning_rate | Численное значение или тензор. Скорость обучения. |
l1_regularization_strength | Вещественное значение, должно быть больше или равно нулю. |
l2_regularization_strength | Вещественное значение, должно быть больше или равно нулю. |
use_locking | Если True, использовать блокировки для операций обновления. |
name | Необязательное префиксное имя для операций, созданных при применении градиентов. По умолчанию "GradientDescent". |
Методы
apply_gradients
apply_gradients(
grads_and_vars, global_step=None, name=None
)
Применить градиенты к переменным.
Это вторая часть minimize(). Возвращает операцию, которая применяет градиенты.
| Аргументы | |
|---|---|
grads_and_vars | Список пар (градиент, переменная), возвращаемых методом compute_gradients(). |
global_step | Необязательный счетчик, который увеличивается на единицу после обновления переменных. |
name | Необязательное имя возвращаемой операции. По умолчанию имя, переданное конструктору Optimizer. |
| Возвращаемые значения | |
|---|---|
Операция, применяющая указанные градиенты. Если global_step не равно None, эта операция также увеличивает global_step. |
| Исключения | |
|---|---|
TypeError | Если список пар (градиент, переменная) имеет неверный формат. |
ValueError | Если ни у одной из переменных нет градиента. |
RuntimeError | Если следует использовать _distributed_apply() вместо этого. |
compute_gradients
compute_gradients(
loss, var_list=None, gate_gradients=GATE_OP, aggregation_method=None,
colocate_gradients_with_ops=False, grad_loss=None
)
Вычислить градиенты по loss для переменных в var_list.
Это первая часть minimize(). Возвращает список пар (градиент, переменная), где "градиент" — градиент для "переменной". Обратите внимание, что "градиент" может быть Tensor, IndexedSlices, или None, если для данной переменной градиент отсутствует.
| Аргументы | |
|---|---|
loss | Тензор, содержащий значение для минимизации, или вызываемая функция без аргументов, возвращающая значение для минимизации. При включенном режиме eager execution она должна быть вызываемой функцией. |
var_list | Необязательный список или кортеж переменных tf.Variable, которые нужно обновить, чтобы минимизировать loss. По умолчанию список переменных, собранных в графе по ключу GraphKeys.TRAINABLE_VARIABLES. |
gate_gradients | Способ управления вычислением градиентов. Может быть GATE_NONE, GATE_OP, или GATE_GRAPH. |
aggregation_method | Указывает метод объединения градиентов. Допустимые значения определены в классе AggregationMethod. |
colocate_gradients_with_ops | Если True, попробовать расположить градиенты рядом с соответствующей операцией. |
grad_loss | Необязательно. Tensor содержащий градиент, вычисленный для loss. |
| Возвращаемые значения | |
|---|---|
Список пар (градиент, переменная). Переменная всегда присутствует, но градиент может быть None. |
| Исключения | |
|---|---|
TypeError | Если var_list содержит что-то кроме объектов Variable. |
ValueError | Если некоторые аргументы неверны. |
RuntimeError | Если вызвана с включенным режимом eager execution, и loss не является вызываемой функцией. |
Совместимость с eager execution
При включенном eager execution, gate_gradients, aggregation_method, и colocate_gradients_with_ops игнорируются.
get_name
get_name()
get_slot
get_slot(
var, name
)
Возвращает слот с именем name, созданный для var оптимизатором.
Некоторые подклассы Optimizer используют дополнительные переменные. Например, Momentum и Adagrad используют переменные для накопления обновлений. Этот метод предоставляет доступ к этим Variable объектам, если они вам по какой-то причине нужны.
Используйте get_slot_names() для получения списка имен слотов, созданных Optimizer.
| Аргументы | |
|---|---|
var | Переменная, переданная в minimize() или apply_gradients(). |
name | Строка. |
| Возвращаемые значения | |
|---|---|
Переменная Variable для слота, если она была создана, None в противном случае. |
get_slot_names
get_slot_names()
Возвращает список имён слотов, созданных оптимизатором Optimizer.
См. get_slot().
| Возвращаемые значения | |
|---|---|
| Список строк. |
minimize
minimize(
loss, global_step=None, var_list=None, gate_gradients=GATE_OP,
aggregation_method=None, colocate_gradients_with_ops=False, name=None,
grad_loss=None
)
Добавить операции для минимизации loss путём обновления var_list.
Этот метод просто объединяет вызовы compute_gradients() и apply_gradients(). Если нужно обработать градиент перед его применением, вызовите compute_gradients() и apply_gradients() явно вместо использования этой функции.
| Аргументы | |
|---|---|
loss | Тензор, содержащий значение для минимизации. |
global_step | Необязательный счетчик, который увеличивается на единицу после обновления переменных. |
var_list | Необязательный список или кортеж объектов Variable для обновления с целью минимизации loss. По умолчанию список переменных, собранных в графе по ключу GraphKeys.TRAINABLE_VARIABLES. |
gate_gradients | Способ управления вычислением градиентов. Может быть GATE_NONE, GATE_OP, или GATE_GRAPH. |
aggregation_method | Указывает метод объединения градиентов. Допустимые значения определены в классе AggregationMethod. |
colocate_gradients_with_ops | Если True, попробовать расположить градиенты рядом с соответствующей операцией. |
name | Необязательное имя возвращаемой операции. |
grad_loss | Необязательно. Tensor содержащий градиент, вычисленный для loss. |
| Возвращаемые значения | |
|---|---|
Операция, обновляющая переменные в var_list. Если global_step не было None, эта операция также увеличивает global_step. |
| Исключения | |
|---|---|
ValueError | Если некоторые переменные не являются объектами Variable. |
Совместимость с eager execution
При включенном режиме выполнения с немедленным результатом loss должна быть функцией Python, которая не принимает аргументов и вычисляет значение, которое нужно минимизировать. Минимизация (и вычисление градиента) выполняется относительно элементов var_list если оно не равно None, иначе относительно всех обучаемых переменных, созданных во время выполнения функции loss. gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss игнорируются при включенном режиме выполнения с немедленным результатом.
variables
variables()
Список переменных, которые кодируют текущее состояние Optimizer.
Включает переменные слотов и дополнительные глобальные переменные, созданные оптимизатором в текущей рабочей области по умолчанию.
| Возвращаемое значение | |
|---|---|
| Список переменных. |
Переменные класса
-
GATE_GRAPH = 2 -
GATE_NONE = 0 -
GATE_OP = 1
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/train/ProximalGradientDescentOptimizer