tf.init_scope

Менеджер контекста, который выносит операции за пределы областей управления потоком и графов построения функций.

@tf_contextlib.contextmanager
tf.init_scope()

Часто возникает необходимость вынести операции инициализации переменных за пределы областей управления потоком, графов построения функций и лент градиентов. Вход в init_scope — это механизм для удовлетворения этих требований. В частности, вход в init_scope имеет три эффекта:

(1) Все зависимости управления очищаются в момент входа в область; это эквивалентно входу в менеджер контекста, возвращаемый из control_dependencies(None), который имеет побочный эффект выхода из областей управления потоком, таких как tf.cond и tf.while_loop.

(2) Все операции, созданные во время активности области, выносятся в контекст самого низкого уровня в context_stack , который не строит функцию графа. Здесь контекст определяется как граф или контекст eager. Каждый переход контекста, то есть каждая установка графа в качестве стандартного графа и каждый переход в режим eager, регистрируется в локальном стеке потока, называемом context_switches; запись о переходе контекста удаляется из стека при выходе из контекста. Вход в init_scope эквивалентен подъёму по context_switches, нахождению первого контекста, не строящего функцию графа, и входу в него. Особенность заключается в том, что если режим графа включён, но стек стандартных графов пуст, вход в init_scope просто установит новый граф в качестве стандартного.

(3) Лента градиентов приостанавливается во время активности области.

При включённом eager выполнении код внутри блока init_scope выполняется с включённым eager выполнением, даже когда прослеживается tf.function. Например:

tf.compat.v1.enable_eager_execution()

@tf.function
def func():
  # A function constructs TensorFlow graphs,
  # it does not execute eagerly.
  assert not tf.executing_eagerly()
  with tf.init_scope():
    # Initialization runs with eager execution enabled
    assert tf.executing_eagerly()