tf.compat.v1.SparseConditionalAccumulator

Условный накопитель для агрегирования разреженных градиентов.

Наследуется от: ConditionalAccumulatorBase

tf.compat.v1.SparseConditionalAccumulator(
    dtype, shape=None, shared_name=None,
    name='sparse_conditional_accumulator', reduction_type='MEAN'
)

Разреженные градиенты представлены IndexedSlices.

Актуальные градиенты (т. е. шаг времени, на котором был вычислен градиент, равен шагу времени накопителя) добавляются в накопитель.

Извлечение среднего градиента блокируется до тех пор, пока не будет накоплено необходимое количество градиентов.

Методы

apply_grad

Просмотреть исходный код

apply_grad(
    grad_indices, grad_values, grad_shape=None, local_step=0, name=None
)

Попытка применить разреженный градиент к накопителю.

Попытка будет проигнорирована, если градиент устарел, т. е. local_step меньше, чем глобальный шаг времени накопителя.

Разреженный градиент представлен его индексами, значениями и, возможно, пустой или нулевой формой. Индексы должны быть вектором, представляющим расположение ненулевых элементов в тензоре. Значения — ненулевые фрагменты градиента, и они должны иметь одинаковое первое измерение с индексами, т. е. nnz, представленные индексами и значениями, должны быть согласованы. Форма, если она не пуста или не None, должна быть согласована с формой накопителя (если также предоставлена).

Пример:

Тензор [[0, 0], [0, 1], [2, 3]] может быть представлен индексами: [1,2] значениями: [[0,1],[2,3]] формой: [3, 2]

apply_indexed_slices_grad

Просмотреть исходный код

apply_indexed_slices_grad(
    grad, local_step=0, name=None
)

Попытка применить градиент к накопителю.

Попытка будет проигнорирована, если градиент устарел, т. е. local_step меньше, чем глобальный шаг времени накопителя.

num_accumulated

Просмотреть исходный код

num_accumulated(
    name=None
)

Количество градиентов, которые в настоящее время агрегированы в накопителе.

set_global_step

Просмотреть исходный код

set_global_step(
    new_global_step, name=None
)

Устанавливает глобальный шаг времени накопителя.

Операция выводит предупреждение, если мы пытаемся установить шаг времени, меньший, чем собственный шаг времени накопителя.

take_grad

Просмотреть исходный код

take_grad(
    num_required, name=None
)

Попытка извлечь средний градиент из накопителя.

Операция блокируется до тех пор, пока достаточное количество градиентов не будет успешно применено к накопителю.

После успешного выполнения также выполняются следующие действия:

• Счётчик накопленных градиентов сбрасывается до 0.
• Агрегированный градиент сбрасывается до тензора 0.
• Внутренний шаг времени накопителя увеличивается на 1.

take_indexed_slices_grad

Просмотреть исходный код

take_indexed_slices_grad(
    num_required, name=None
)

Попытка извлечь средний градиент из накопителя.

Операция блокируется до тех пор, пока достаточное количество градиентов не будет успешно применено к накопителю.

После успешного выполнения также выполняются следующие действия:

• Счётчик накопленных градиентов сбрасывается до 0.
• Агрегированный градиент сбрасывается до тензора 0.
• Внутренний шаг времени накопителя увеличивается на 1.