tf.AggregationMethod

Класс, перечисляющий методы агрегирования, используемые для объединения градиентов.

Вычисление частных производных может потребовать агрегирования вкладов градиента. Этот класс перечисляет различные методы, которые могут быть использованы для объединения градиентов в графе.

Следующие методы агрегирования являются частью стабильного API для агрегирования градиентов:

• ADD_N: Все члены градиента суммируются как часть одной операции с помощью операции "AddN" (см. tf.add_n). Этот метод предполагает, что все градиенты должны быть готовы и буферизованы отдельно в памяти перед выполнением любого агрегирования.
• DEFAULT: Метод агрегирования по умолчанию, выбранный системой.

Следующие методы агрегирования являются экспериментальными и могут не поддерживаться в будущих выпусках:

• EXPERIMENTAL_TREE: Члены градиента суммируются попарно с помощью операции "AddN". Этот метод суммирования градиентов может снизить производительность, но может улучшить использование памяти, так как градиенты могут быть освобождены раньше.
• EXPERIMENTAL_ACCUMULATE_N: Также как и EXPERIMENTAL_TREE.

Пример использования при вычислении градиента:

@tf.function
def example():
  x = tf.constant(1.0)
  y = x * 2.0
  z = y + y + y + y
  return tf.gradients(z, [x, y],
    aggregation_method=tf.AggregationMethod.EXPERIMENTAL_ACCUMULATE_N)
example()
[<tf.Tensor: shape=(), dtype=float32, numpy=8.0>,
 <tf.Tensor: shape=(), dtype=float32, numpy=4.0>]