tf.raw_ops.ResourceApplyRMSProp

Обновление '*var' в соответствии с алгоритмом RMSProp.

tf.raw_ops.ResourceApplyRMSProp(
    var, ms, mom, lr, rho, momentum, epsilon, grad, use_locking=False, name=None
)

Обратите внимание, что в плотной реализации этого алгоритма ms и mom будут обновляться даже если градиент равен нулю, но в этой разреженной реализации ms и mom не будут обновляться в итерациях, в которых градиент равен нулю.

mean_square = decay * mean_square + (1-decay) * gradient ** 2 Delta = learning_rate * gradient / sqrt(mean_square + epsilon)

ms <- rho * ms{t-1} + (1-rho) * grad * grad mom <- momentum * mom{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - mom