tf.compat.v1.SparseConditionalAccumulator

Условный накопитель для агрегирования разреженных градиентов.

Наследуется от: ConditionalAccumulatorBase

tf.compat.v1.SparseConditionalAccumulator(
    dtype, shape=None, shared_name=None, name='sparse_conditional_accumulator',
    reduction_type='MEAN'
)

Разреженные градиенты представлены IndexedSlices.

Актуальные градиенты (т.е. шаг времени, на котором был вычислен градиент, равен шагу времени накопителя) добавляются в накопитель.

Извлечение среднего градиента блокируется до тех пор, пока не будет накоплено необходимое количество градиентов.

Методы

apply_grad

Просмотреть исходный код

apply_grad(
    grad_indices, grad_values, grad_shape=None, local_step=0, name=None
)

Попытка применения разреженного градиента к накопителю.

Попытка будет пропущена, если градиент устарел, т.е. local_step меньше глобального шага времени накопителя.

Разреженный градиент представлен своими индексами, значениями и, возможно, пустой или None формой. Индексы должны быть вектором, представляющим расположение ненулевых элементов в тензоре. Значения — ненулевые срезы градиента, и они должны иметь ту же первую размерность, что и индексы, т.е. nnz, представленные индексами и значениями, должны быть согласованы. Форма, если она не пустая или None, должна быть согласована с формой накопителя (если она также предоставлена).

Пример:

Тензор [[0, 0], [0, 1], [2, 3]] можно представить индексами: [1,2] значениями: [[0,1],[2,3]] форма: [3, 2]

apply_indexed_slices_grad

Просмотреть исходный код

apply_indexed_slices_grad(
    grad, local_step=0, name=None
)

Попытка применения градиента к накопителю.

Попытка будет пропущена, если градиент устарел, т.е. local_step меньше глобального шага времени накопителя.

num_accumulated

Просмотреть исходный код

num_accumulated(
    name=None
)

Количество градиентов, которые были в настоящее время агрегированы в накопителе.

set_global_step

Просмотреть исходный код

set_global_step(
    new_global_step, name=None
)

Устанавливает глобальный шаг времени накопителя.

Операция выводит предупреждение, если мы пытаемся установить шаг времени, который меньше собственного шага времени накопителя.

take_grad

Просмотреть исходный код

take_grad(
    num_required, name=None
)

Попытка извлечь средний градиент из накопителя.

Операция блокируется до тех пор, пока не будет успешно применено достаточное количество градиентов к накопителю.

При успешном выполнении также выполняются следующие действия:

• Счетчик накопленных градиентов сбрасывается до 0.
• Агрегированный градиент сбрасывается до тензора 0.
• Внутренний шаг времени накопителя увеличивается на 1.

take_indexed_slices_grad

Просмотреть исходный код

take_indexed_slices_grad(
    num_required, name=None
)

Попытка извлечь средний градиент из накопителя.

Операция блокируется до тех пор, пока не будет успешно применено достаточное количество градиентов к накопителю.

При успешном выполнении также выполняются следующие действия:

• Счетчик накопленных градиентов сбрасывается до 0.
• Агрегированный градиент сбрасывается до тензора 0.
• Внутренний шаг времени накопителя увеличивается на 1.