tf.distribute.experimental.ValueContext

Класс, содержащий сведения, необходимые функции распределения.

tf.distribute.experimental.ValueContext(
    replica_id_in_sync_group=0, num_replicas_in_sync=1
)

Это контекстный класс, который передается в value_fn в strategy.experimental_distribute_values_from_function и содержит сведения о вычислительных репликах. num_replicas_in_sync и replica_id можно использовать для настройки значения каждой реплики.

Пример использования:

1. Создан напрямую.

   def value_fn(context):
     return context.replica_id_in_sync_group/context.num_replicas_in_sync
   context = tf.distribute.experimental.ValueContext(
     replica_id_in_sync_group=2, num_replicas_in_sync=4)
   per_replica_value = value_fn(context)
   per_replica_value
       0.5
       

2. Передается через experimental_distribute_values_from_function.

   strategy = tf.distribute.MirroredStrategy(["GPU:0", "GPU:1"])
   def value_fn(value_context):
     return value_context.num_replicas_in_sync
   distributed_values = (
        strategy.experimental_distribute_values_from_function(
          value_fn))
   local_result = strategy.experimental_local_results(distributed_values)
   local_result
       (2, 2)