tensorflow::ops::SparseApplyCenteredRMSProp

#include <training_ops.h>

Обновление '*var' в соответствии с алгоритмом центрированного RMSProp.

Краткое описание

Алгоритм центрированного RMSProp использует оценку центрированного второго момента (т.е. дисперсии) для нормализации, в отличие от обычного RMSProp, который использует (нецентрированный) второй момент. Это часто помогает в обучении, но немного дороже в плане вычислений и памяти.

Обратите внимание, что в плотной реализации этого алгоритма mg, ms и mom будут обновляться даже если grad равен нулю, но в этой разреженной реализации mg, ms и mom не будут обновляться в итерациях, в которых grad равен нулю.

mean_square = decay * mean_square + (1-decay) * gradient ** 2 mean_grad = decay * mean_grad + (1-decay) * gradient Delta = learning_rate * gradient / sqrt(mean_square + epsilon - mean_grad ** 2)

$$ms

$$mom

$$var

Аргументы:

scope: Объект Scope
var: Должен быть получен из Variable().
mg: Должен быть получен из Variable().
ms: Должен быть получен из Variable().
mom: Должен быть получен из Variable().
lr: Коэффициент масштабирования. Должен быть скаляром.
rho: Скорость затухания. Должен быть скаляром.
epsilon: Слагаемое для сглаживания. Должен быть скаляром.
grad: Градиент.
indices: Вектор индексов в первом измерении var, ms и mom.

Необязательные атрибуты (см. Attrs):

use_locking: Если True, обновление тензоров var, mg, ms и mom защищено блокировкой; в противном случае поведение не определено, но может характеризоваться меньшей конкуренцией.

Возвращаемое значение:

Output: То же, что и "var".

Конструкторы и деструкторы
`SparseApplyCenteredRMSProp(const ::tensorflow::Scope & scope, ::tensorflow::Input var, ::tensorflow::Input mg, ::tensorflow::Input ms, ::tensorflow::Input mom, ::tensorflow::Input lr, ::tensorflow::Input rho, ::tensorflow::Input momentum, ::tensorflow::Input epsilon, ::tensorflow::Input grad, ::tensorflow::Input indices)`
`SparseApplyCenteredRMSProp(const ::tensorflow::Scope & scope, ::tensorflow::Input var, ::tensorflow::Input mg, ::tensorflow::Input ms, ::tensorflow::Input mom, ::tensorflow::Input lr, ::tensorflow::Input rho, ::tensorflow::Input momentum, ::tensorflow::Input epsilon, ::tensorflow::Input grad, ::tensorflow::Input indices, const SparseApplyCenteredRMSProp::Attrs & attrs)`

Общедоступные атрибуты
`operation`	`Operation`
`out`	`::tensorflow::Output`

Общедоступные функции
`node() const`	`::tensorflow::Node *`
`operator::tensorflow::Input() const`
`operator::tensorflow::Output() const`

Общедоступные статические функции
`UseLocking(bool x)`	`Attrs`

Структуры
tensorflow::ops::SparseApplyCenteredRMSProp::Attrs	Необязательные установки атрибутов для SparseApplyCenteredRMSProp.

Общедоступные атрибуты

operation

Operation operation

out

::tensorflow::Output out

Общедоступные функции

SparseApplyCenteredRMSProp

 SparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

SparseApplyCenteredRMSProp

 SparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const SparseApplyCenteredRMSProp::Attrs & attrs
)

node

::tensorflow::Node * node() const

operator::tensorflow::Input

operator::tensorflow::Input() const

operator::tensorflow::Output

operator::tensorflow::Output() const

Общедоступные статические функции

UseLocking

Attrs UseLocking(
  bool x
)

За исключением случаев, оговоренных в ином порядке, содержимое этой страницы лицензировано на условиях лицензии Creative Commons Attribution 4.0, а примеры кода лицензированы на условиях лицензии Apache 2.0. Подробности см. в политиках сайта Google Developers. Java — зарегистрированный товарный знак Oracle и/или её дочерних компаний. Некоторые материалы лицензированы по лицензии numpy.

Последнее обновление 2021-01-21 UTC.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.4/api_docs/cc/class/tensorflow/ops/sparse-apply-centered-r-m-s-prop