tf.sparse.SparseConditionalAccumulator

Условный аккумулирующий объект для агрегирования разреженных градиентов.

Наследуется от: ConditionalAccumulatorBase

tf.sparse.SparseConditionalAccumulator(
    dtype, shape=None, shared_name=None, name='sparse_conditional_accumulator',
    reduction_type='MEAN'
)

Разреженные градиенты представлены IndexedSlices.

Актуальные градиенты (т. е. шаг времени, на котором был вычислен градиент, равен шагу времени аккумулятора) добавляются в аккумулятор.

Извлечение среднего градиента блокируется до тех пор, пока не будет накоплено необходимое количество градиентов.

Методы

apply_grad

Просмотреть исходный код

apply_grad(
    grad_indices, grad_values, grad_shape=None, local_step=0, name=None
)

Попытка применения разреженного градиента к аккумулятору.

Попытка молча игнорируется, если градиент устарел, т. е. local_step меньше, чем глобальный шаг времени аккумулятора.

Разреженный градиент представлен своими индексами, значениями и, возможно, пустой или None формой. Индексы должны быть вектором, представляющим расположение ненулевых элементов в тензоре. Значения — ненулевые слайсы градиента, и они должны иметь ту же первую размерность, что и индексы, т. е. nnz, представленные индексами и значениями, должны быть согласованы. Форма, если она не пуста или None, должна быть согласована с формой аккумулятора (если также указана).

Пример:

Тензор [[0, 0], [0, 1], [2, 3]] может быть представлен индексами: [1,2] значениями: [[0,1],[2,3]] формой: [3, 2]

apply_indexed_slices_grad

Просмотреть исходный код

apply_indexed_slices_grad(
    grad, local_step=0, name=None
)

Попытка применения градиента к аккумулятору.

Попытка молча игнорируется, если градиент устарел, т. е. local_step меньше, чем глобальный шаг времени аккумулятора.

num_accumulated

Просмотреть исходный код

num_accumulated(
    name=None
)

Количество градиентов, которые в настоящее время были агрегированы в аккумуляторе.

set_global_step

Просмотреть исходный код

set_global_step(
    new_global_step, name=None
)

Устанавливает глобальный шаг времени аккумулятора.

Операция записывает предупреждение, если мы пытаемся установить шаг времени, который меньше шага времени самого аккумулятора.

take_grad

Просмотреть исходный код

take_grad(
    num_required, name=None
)

Попытка извлечь средний градиент из аккумулятора.

Операция блокируется до тех пор, пока достаточное количество градиентов не будет успешно применено к аккумулятору.

После успешного выполнения также выполняются следующие действия:

• Счетчик накопленных градиентов сбрасывается до 0.
• Агрегированный градиент сбрасывается до 0-тензора.
• Внутренний шаг времени аккумулятора увеличивается на 1.

take_indexed_slices_grad

Просмотреть исходный код

take_indexed_slices_grad(
    num_required, name=None
)

Попытка извлечь средний градиент из аккумулятора.

Операция блокируется до тех пор, пока достаточное количество градиентов не будет успешно применено к аккумулятору.

После успешного выполнения также выполняются следующие действия:

• Счетчик накопленных градиентов сбрасывается до 0.
• Агрегированный градиент сбрасывается до 0-тензора.
• Внутренний шаг времени аккумулятора увеличивается на 1.