tf.ConditionalAccumulator
Условный накопитель для агрегирования градиентов.
Наследуется от: ConditionalAccumulatorBase
tf.ConditionalAccumulator(
dtype, shape=None, shared_name=None, name='conditional_accumulator',
reduction_type='MEAN'
)
Градиенты, актуальные на данный момент (т.е., момент вычисления градиента совпадает с текущим шагом накопителя), добавляются в накопитель.
Извлечение среднего градиента блокируется, пока не будет накоплено необходимое количество градиентов.
| Аргументы | |
|---|---|
dtype | Тип данных накапливаемых градиентов. |
shape | Форма накапливаемых градиентов. |
shared_name | Необязательно. Если не пусто, этот накопитель будет совместно использоваться под заданным именем в нескольких сессиях. |
name | Необязательное имя накопителя. |
reduction_type | Тип редукции для использования при вычислении градиента. |
| Атрибуты | |
|---|---|
accumulator_ref | Ссылка на базовый накопитель. |
dtype | Тип данных градиентов, накапливаемых этим накопителем. |
name | Имя базового накопителя. |
Методы
apply_grad
apply_grad(
grad, local_step=0, name=None
)
Попытка применить градиент к накопителю.
Попытка будет проигнорирована, если градиент устарел, т.е., local_step меньше, чем глобальный шаг накопителя.
| Аргументы | |
|---|---|
grad | Тензор градиента, подлежащий применению. |
local_step | Шаг времени, на котором был вычислен градиент. |
name | Необязательное имя операции. |
| Возвращаемое значение | |
|---|---|
| Операция, которая (условно) применяет градиент к накопителю. |
| Исключения | |
|---|---|
ValueError | Если форма grad неверна |
num_accumulated
num_accumulated(
name=None
)
Количество градиентов, которые в настоящее время агрегируются в накопителе.
| Аргументы | |
|---|---|
name | Необязательное имя операции. |
| Возвращаемое значение | |
|---|---|
| Количество накопленных градиентов в накопителе. |
set_global_step
set_global_step(
new_global_step, name=None
)
Устанавливает глобальный шаг времени накопителя.
Операция выводит предупреждение, если мы пытаемся установить шаг времени меньше, чем текущий шаг времени накопителя.
| Аргументы | |
|---|---|
new_global_step | Значение нового шага времени. Может быть переменной или константой |
name | Необязательное имя операции. |
| Возвращаемое значение | |
|---|---|
| Операция, устанавливающая шаг времени накопителя. |
take_grad
take_grad(
num_required, name=None
)
Попытка извлечь средний градиент из накопителя.
Операция блокируется до тех пор, пока достаточное количество градиентов не будет успешно применено к накопителю.
После успешного выполнения выполняются следующие действия:
- Счетчик накопленных градиентов сбрасывается до 0.
- Агрегированный градиент сбрасывается до тензора 0.
- Внутренний шаг времени накопителя увеличивается на 1.
| Аргументы | |
|---|---|
num_required | Количество градиентов, которые должны быть агрегированы |
name | Необязательное имя операции |
| Возвращаемое значение | |
|---|---|
| Тензор, содержащий значение среднего градиента. |
| Исключения | |
|---|---|
InvalidArgumentError | Если num_required < 1 |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/ConditionalAccumulator