tf.contrib.estimator.TowerOptimizer
Собирает градиенты со всех башен и сводит их на последней.
Наследуется от: Optimizer
tf.contrib.estimator.TowerOptimizer(
optimizer_or_optimizer_fn
)
| Аргументы | |
|---|---|
optimizer_or_optimizer_fn | экземпляр оптимизатора для обертки. Этот экземпляр будет использоваться для оптимизатора-специфической логики. Это также может быть функция без аргументов, которая возвращает такой экземпляр оптимизатора. |
Методы
apply_gradients
apply_gradients(
grads_and_vars, global_step=None, **kwargs
)
Собрать обновления градиентов, чтобы применить их на последней башне.
compute_gradients
compute_gradients(
loss, *args, **kwargs
)
Вычислить градиенты, но предварительно, при необходимости, масштабировать потерю.
get_name
get_name(
*args, **kwargs
)
get_slot
get_slot(
*args, **kwargs
)
Возвращает слот с именем name, созданный для var оптимизатором.
Некоторые подклассы Optimizer используют дополнительные переменные. Например, Momentum и Adagrad используют переменные для накопления обновлений. Этот метод предоставляет доступ к этим объектам Variable, если по какой-то причине они вам нужны.
Используйте get_slot_names() для получения списка имен слотов, созданных оптимизатором Optimizer.
| Аргументы | |
|---|---|
var | Переменная, переданная в minimize() или apply_gradients(). |
name | Строка. |
| Возвращает | |
|---|---|
Переменную Variable для слота, если она была создана, None в противном случае. |
get_slot_names
get_slot_names(
*args, **kwargs
)
Возвращает список имен слотов, созданных оптимизатором Optimizer.
См. get_slot().
| Возвращает | |
|---|---|
| Список строк. |
has_been_used
@staticmethod has_been_used()
minimize
minimize(
loss, global_step=None, var_list=None, gate_gradients=GATE_OP,
aggregation_method=None, colocate_gradients_with_ops=False, name=None,
grad_loss=None
)
Добавляет операции для минимизации loss, обновляя var_list.
Этот метод просто объединяет вызовы compute_gradients() и apply_gradients(). Если вы хотите обработать градиент перед его применением, вызовите compute_gradients() и apply_gradients() явно вместо использования этой функции.
| Аргументы | |
|---|---|
loss | Объект Tensor, содержащий значение для минимизации. |
global_step | Необязательный объект Variable, который увеличивается на единицу после обновления переменных. |
var_list | Необязательный список или кортеж объектов Variable для обновления, чтобы минимизировать loss. По умолчанию это список переменных, собранных в графе под ключом GraphKeys.TRAINABLE_VARIABLES. |
gate_gradients | Способ управления вычислением градиентов. Может быть GATE_NONE, GATE_OP или GATE_GRAPH . |
aggregation_method | Указывает метод, используемый для объединения градиентных слагаемых. Допустимые значения определены в классе AggregationMethod . |
colocate_gradients_with_ops | Если True, попробуйте разместить градиенты вместе с соответствующей операцией. |
name | Необязательное имя для возвращаемой операции. |
grad_loss | Необязательно. Объект Tensor, содержащий градиент, вычисленный для loss . |
| Возвращает | |
|---|---|
Операция, обновляющая переменные в var_list. Если global_step не None, эта операция также увеличивает global_step . |
| Возможные исключения | |
|---|---|
ValueError | Если некоторые переменные не являются объектами Variable . |
Совместимость с Eager
При включенном режиме Eager выполнения, loss должна быть Python-функцией без аргументов, вычисляющей значение для минимизации. Минимизация (и вычисление градиента) выполняется относительно элементов var_list , если оно не None, иначе относительно всех обучаемых переменных, созданных во время выполнения функции loss . gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss игнорируются при включенном режиме Eager выполнения.
variables
variables(
*args, **kwargs
)
Список переменных, которые кодируют текущее состояние Optimizer.
Включает переменные слотов и дополнительные глобальные переменные, созданные оптимизатором в текущем графике по умолчанию.
| Возвращает | |
|---|---|
| Список переменных. |
Переменные класса
-
COLLECTION_FOR_GRAPH_STATES = 'replicate_model_fn_graph_states' -
GATE_GRAPH = 2 -
GATE_NONE = 0 -
GATE_OP = 1
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/contrib/estimator/TowerOptimizer