tf.grad_pass_through
Создаёт операцию с передачей градиента, поведение которой при прямом проходе определяется функцией f.
tf.grad_pass_through(
f
)
Используйте эту функцию для обёртывания любой операции: она сохраняет поведение операции при прямом проходе, но заменяет исходную операцию в графе обратного распространения на тождественное преобразование. Например:
x = tf.Variable(1.0, name="x") z = tf.Variable(3.0, name="z") with tf.GradientTape() as tape: # y will evaluate to 9.0 y = tf.grad_pass_through(x.assign)(z**2) # grads will evaluate to 6.0 grads = tape.gradient(y, z)
Другой пример — «дифференцируемое» приближение скользящего среднего: градиенты могут распространяться к последнему значению, переданному в скользящее среднее, но при прямом проходе по-прежнему используется скользящее среднее:
x = ... # Some scalar value # A moving average object, we don't need to know how this is implemented moving_average = MovingAverage() with backprop.GradientTape() as tape: # mavg_x will evaluate to the current running average value mavg_x = tf.grad_pass_through(moving_average)(x) grads = tape.gradient(mavg_x, x) # grads will evaluate to 1.0
| Аргументы | |
|---|---|
f | функция f(*x), возвращающая Tensor или вложенную структуру из Tensor выходных значений. |
| Возвращает | |
|---|---|
Функция h(x), возвращающая те же значения, что и f(x), и градиенты которой совпадают с градиентами тождественной функции. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/grad_pass_through
