tf.init_scope

Менеджер контекста, который поднимает операции из областей потока управления и графиков построения функций.

@tf_contextlib.contextmanager
tf.init_scope()

Часто возникает необходимость вынести операции инициализации переменных за пределы областей потока управления, графиков построения функций и лент градиентов. Вход в init_scope — это механизм для удовлетворения этих требований. В частности, вход в init_scope имеет три эффекта:

(1) Все зависимости управления очищаются в момент входа в область; это эквивалентно входу в менеджер контекста, возвращаемый из control_dependencies(None), что имеет побочный эффект выхода из областей потока управления, таких как tf.cond и tf.while_loop.

(2) Все операции, созданные во время активности области, поднимаются в самую низкую область в context_stack , которая не строит функцию графика. Здесь контекст определяется как график или контекст eager. Каждый переход контекста, т.е. каждый установленный график в качестве график по умолчанию и каждый переход в режим eager, записывается в локальный стек потока, называемый context_switches; запись о переключении контекста извлекается из стека при выходе из контекста. Вход в init_scope эквивалентен перемещению вверх по context_switches, поиску первой области, которая не строит функцию графика, и входу в неё. Особенность состоит в том, что если режим графика включен, но стек графиков по умолчанию пуст, то вход в init_scope просто установит новый график в качестве график по умолчанию.

(3) Лента градиентов приостанавливается во время активности области.

Когда выполнение eager включено, код внутри блока init_scope выполняется с включённым eager-выполнением, даже при отслеживании tf.function. Например:

tf.compat.v1.enable_eager_execution()

@tf.function
def func():
  # A function constructs TensorFlow graphs,
  # it does not execute eagerly.
  assert not tf.executing_eagerly()
  with tf.init_scope():
    # Initialization runs with eager execution enabled
    assert tf.executing_eagerly()