tf.compat.v1.gradients

Создаёт символические производные от суммы ys по x в xs.

tf.compat.v1.gradients(
    ys, xs, grad_ys=None, name='gradients', colocate_gradients_with_ops=False,
    gate_gradients=False, aggregation_method=None, stop_gradients=None,
    unconnected_gradients=tf.UnconnectedGradients.NONE
)

ys и xs представляют собой каждый Tensor или список тензоров. grad_ys — это список Tensor, содержащих градиенты, полученные от ys. Список должен иметь такую же длину, как ys.

gradients() добавляет в граф операции, выводящие производные ys по xs. Он возвращает список Tensor длины len(xs), где каждый тензор является sum(dy/dx) для y в ys и для x в xs.

grad_ys — это список тензоров той же длины, что и ys и содержащий начальные градиенты для каждого y в ys. Когда grad_ys равно None, для каждого y в ys заполняется тензор с «1» размером y. Пользователь может предоставить собственный начальный grad_ys для вычисления производных, используя для каждого y другой начальный градиент (например, если нужно различно взвешивать градиент для каждого значения в каждом y).

stop_gradients — это Tensor или список тензоров, которые считаются постоянными по отношению ко всем xs. Эти тензоры не будут обработаны обратным распространением, как если бы они были явно отключены с помощью stop_gradient. Среди прочего, это позволяет вычислять частные производные, а не полные производные. Например:

a = tf.constant(0.)
b = 2 * a
g = tf.gradients(a + b, [a, b], stop_gradients=[a, b])

Здесь частные производные g равны [1.0, 1.0], в отличие от полных производных tf.gradients(a + b, [a, b]), которые учитывают влияние a на b и равны [3.0, 1.0]. Обратите внимание, что вышесказанное эквивалентно:

a = tf.stop_gradient(tf.constant(0.))
b = tf.stop_gradient(2 * a)
g = tf.gradients(a + b, [a, b])

stop_gradients обеспечивает возможность остановки градиента после построения графа, в отличие от tf.stop_gradient, которая используется во время построения графа. При совместном использовании этих двух подходов обратное распространение останавливается как в узлах tf.stop_gradient, так и в узлах stop_gradients, в зависимости от того, какой из них встретится первым.

Все целочисленные тензоры считаются постоянными по отношению ко всем xs, как если бы они были включены в stop_gradients.

unconnected_gradients определяет значение, возвращаемое для каждого x в xs, если он не подключен в графе к ys. По умолчанию это None, чтобы предотвратить ошибки. Математически эти градиенты равны нулю, что можно запросить с помощью параметра 'zero'. tf.UnconnectedGradients предоставляет следующие параметры и поведение:

a = tf.ones([1, 2])
b = tf.ones([3, 1])
g1 = tf.gradients([b], [a], unconnected_gradients='none')
sess.run(g1)  # [None]

g2 = tf.gradients([b], [a], unconnected_gradients='zero')
sess.run(g2)  # [array([[0., 0.]], dtype=float32)]

Давайте рассмотрим один практический пример, который возникает на стадии обратного распространения. Данная функция используется для вычисления производных функции стоимости по весам Ws и смещениям bs. Приведенная ниже реализация демонстрирует, для чего она фактически используется:

Ws = tf.constant(0.)
bs = 2 * Ws
cost = Ws + bs  # This is just an example. So, please ignore the formulas.
g = tf.gradients(cost, [Ws, bs])
dCost_dW, dCost_db = g