tf.random.Generator

Генератор псевдослучайных чисел.

tf.random.Generator(
    copy_from=None, state=None, alg=None
)

Используется в ноутбуках

Пример:

Создание генератора из значения семени:

g = tf.random.Generator.from_seed(1234)
g.normal(shape=(2, 3))
<tf.Tensor: shape=(2, 3), dtype=float32, numpy=
array([[ 0.9356609 ,  1.0854305 , -0.93788373],
       [-0.5061547 ,  1.3169702 ,  0.7137579 ]], dtype=float32)>

Создание генератора из недетерминированного состояния:

g = tf.random.Generator.from_non_deterministic_state()
g.normal(shape=(2, 3))
<tf.Tensor: shape=(2, 3), dtype=float32, numpy=...>

Все конструкторы позволяют явно выбрать алгоритм генерации псевдослучайных чисел (RNG). Поддерживаемые алгоритмы — "philox" и "threefry". Например:

g = tf.random.Generator.from_seed(123, alg="philox")
g.normal(shape=(2, 3))
<tf.Tensor: shape=(2, 3), dtype=float32, numpy=
array([[ 0.8673864 , -0.29899067, -0.9310337 ],
       [-1.5828488 ,  1.2481191 , -0.6770643 ]], dtype=float32)>

Процессор, графический процессор и TPU с тем же алгоритмом и значением семени сгенерируют одни и те же целые случайные числа. Результаты с плавающей запятой (например, вывод normal) могут иметь небольшие числовые расхождения на разных устройствах.

Этот класс использует tf.Variable для управления внутренним состоянием. Каждый раз при генерации случайных чисел состояние генератора изменяется. Например:

g = tf.random.Generator.from_seed(1234)
g.state
<tf.Variable ... numpy=array([1234,    0,    0])>
g.normal(shape=(2, 3))
<...>
g.state
<tf.Variable ... numpy=array([2770,    0,    0])>

Форма состояния зависит от алгоритма.

Также есть глобальный генератор:

g = tf.random.get_global_generator()
g.normal(shape=(2, 3))
<tf.Tensor: shape=(2, 3), dtype=float32, numpy=...>

При создании генератора внутри области tf.distribute.Strategy каждая реплика получит различную последовательность случайных чисел.

Например, в этом коде:

strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"])
with strat.scope():
  g = tf.random.Generator.from_seed(1)
  def f():
    return g.normal([])
  results = strat.run(f).values

results[0] и results[1] будут иметь разные значения.

Если генератор запущен с семением (например, создан с помощью Generator.from_seed), случайные числа будут определяться семением, хотя разные реплики получат разные числа. Можно считать, что случайное число, сгенерированное в реплике, — это хэш идентификатора реплики и «главного» случайного числа, которое может быть общим для всех реплик. Таким образом, вся система всё ещё детерминирована.

(Обратите внимание, что случайные числа в разных репликах не коррелированы, даже если они детерминированно определяются одним и тем же семением. Они не коррелированы в том смысле, что независимо от того, какие статистические показатели вы вычисляете, никакой заметной корреляции не будет.)

Генераторы могут быть сохранены и восстановлены с помощью tf.train.Checkpoint. Точка восстановления может быть восстановлена в стратегии распределения с другим числом реплик, чем в исходной стратегии. Если идентификатор реплики присутствует как в исходной, так и в новой стратегии распределения, его состояние будет должным образом восстановлено (т. е. поток случайных чисел с точки восстановления будет таким же, как и с точки сохранения), если реплики ещё не разошлись по трассам вызовов RNG до сохранения (например, одна реплика выполнила один вызов RNG, а другая — два вызова RNG). Мы не даём такой гарантии, если генератор сохранён в области стратегии и восстановлен вне любой области стратегии, или наоборот.

При создании генератора в рамках области tf.distribute.experimental.ParameterServerStrategy рабочие узлы будут разделять состояние генератора (размещённое на одном из серверов параметров). Таким образом, рабочие узлы по-прежнему будут получать разные потоки случайных чисел, как указано выше. (Это аналогично репликам в tf.distribute.MirroredStrategy, последовательно обращающимся к генератору, созданному вне стратегии.) Каждый вызов RNG на рабочем узле потребует обращение к серверу параметров, что может повлиять на производительность. При создании tf.distribute.experimental.ParameterServerStrategy, убедитесь, что аргумент variable_partitioner не фрагментирует мелкие переменные формы [2] или [3] (так как состояния генераторов не должны быть фрагментированы). Способы предотвращения фрагментации мелких переменных включают установку variable_partitioner в None или в tf.distribute.experimental.partitioners.MinSizePartitioner с достаточно большим значением min_shard_bytes (см. документацию tf.distribute.experimental.ParameterServerStrategy для получения дополнительных сведений).

Методы

binomial

Просмотреть исходный код

binomial(
    shape,
    counts,
    probs,
    dtype=tf.dtypes.int32,
    name=None
)

Выдает случайные значения из биномиального распределения.

Сгенерированные значения следуют биномиальному распределению со значениями счётчика и вероятности успеха.

Пример:

counts = [10., 20.]
# Probability of success.
probs = [0.8]

rng = tf.random.Generator.from_seed(seed=234)
binomial_samples = rng.binomial(shape=[2], counts=counts, probs=probs)


counts = ... # Shape [3, 1, 2]
probs = ...  # Shape [1, 4, 2]
shape = [3, 4, 3, 4, 2]
rng = tf.random.Generator.from_seed(seed=1717)
# Sample shape will be [3, 4, 3, 4, 2]
binomial_samples = rng.binomial(shape=shape, counts=counts, probs=probs)

from_key_counter

Просмотреть исходный код

@classmethod
from_key_counter(
    key, counter, alg
)

Создаёт генератор из ключа и счётчика.

Этот конструктор применяется только если алгоритм является алгоритмом на основе счётчика. См. метод key для значения «ключ» и «счётчик».

from_non_deterministic_state

Просмотреть исходный код

@classmethod
from_non_deterministic_state(
    alg=None
)

Создаёт генератор, инициализируя его состояние недетерминированно.

Источник недетерминизма зависит от платформы и времени.

from_seed

Просмотреть исходный код

@classmethod
from_seed(
    seed, alg=None
)

Создаёт генератор из заданного зерна.

Зерно — это 1024-битовое целое без знака, представленное либо целым числом Python, либо вектором целых чисел. Зерна, меньшие 1024 бит, будут дополнены. Способ дополнения, внутренняя структура зерна и способ преобразования зерна в состояние — всё это не определено. Единственное, что гарантируется относительно зерна: два разных зерна, скорее всего, приведут к двум независимым генераторам (но это не гарантируется).

from_state

Просмотреть исходный код

@classmethod
from_state(
    state, alg
)

Создаёт генератор из состояния.

См. __init__ для описания state и alg.

make_seeds

Просмотреть исходный код

make_seeds(
    count=1
)

Генерирует зерна для бессостоятельных операций с генерацией случайных чисел.

Для примера:

seeds = get_global_generator().make_seeds(count=10)
for i in range(10):
  seed = seeds[:, i]
  numbers = stateless_random_normal(shape=[2, 3], seed=seed)
  ...

normal

Просмотреть исходный код

normal(
    shape,
    mean=0.0,
    stddev=1.0,
    dtype=tf.dtypes.float32,
    name=None
)

Выводит случайные значения из нормального распределения.

reset

Просмотреть исходный код

reset(
    state
)

Сбрасывает генератор с новым состоянием.

См. __init__ для объяснения "состояния".

reset_from_key_counter

Просмотреть исходный код

reset_from_key_counter(
    key, counter
)

Сбрасывает генератор с новой парой ключ-счётчик.

См. from_key_counter для объяснения "ключа" и "счётчика".

reset_from_seed

Просмотреть исходный код

reset_from_seed(
    seed
)

Сбрасывает генератор с новым зерном.

См. from_seed для объяснения "зерна".

skip

Просмотреть исходный код

skip(
    delta
)

Увеличивает счётчик генератора случайных чисел, основанного на счётчике.

split

Просмотреть исходный код

split(
    count=1
)

Возвращает список независимых объектов генераторов случайных чисел.

Два генератора независимы друг от друга в том смысле, что потоки случайных чисел, которые они генерируют, не имеют статистически обнаруживаемых корреляций. Новые генераторы также независимы от старого. Состояние старого генератора будет изменено (как и в других методах генерации случайных чисел), поэтому два вызова split вернут разные новые генераторы.

Для примера:

gens = get_global_generator().split(count=10)
for gen in gens:
  numbers = gen.normal(shape=[2, 3])
  # ...
gens2 = get_global_generator().split(count=10)
# gens2 will be different from gens

Новые генераторы будут размещены на текущем устройстве (возможно, отличном от устройства старого генератора), например:

with tf.device("/device:CPU:0"):
  gen = Generator(seed=1234)  # gen is on CPU
with tf.device("/device:GPU:0"):
  gens = gen.split(count=10)  # gens are on GPU

truncated_normal

Просмотреть исходный код

truncated_normal(
    shape,
    mean=0.0,
    stddev=1.0,
    dtype=tf.dtypes.float32,
    name=None
)

Выводит случайные значения из усечённого нормального распределения.

Сгенерированные значения следуют нормальному распределению со заданным средним значением и стандартным отклонением, за исключением того, что значения, абсолютная величина которых больше, чем 2 стандартных отклонения от среднего значения, отбрасываются и выбираются заново.

uniform

Просмотреть исходный код

uniform(
    shape,
    minval=0,
    maxval=None,
    dtype=tf.dtypes.float32,
    name=None
)

Выводит случайные значения из равномерного распределения.

Сгенерированные значения следуют равномерному распределению в диапазоне [minval, maxval). Нижняя граница minval включена в диапазон, а верхняя граница maxval исключена. (Для чисел с плавающей точкой, особенно для типов с низкой точностью, таких как bfloat16, из-за округления результат иногда может включать maxval.)

Для чисел с плавающей точкой, диапазон по умолчанию — [0, 1). Для целых чисел должен быть явно указан по крайней мере maxval.

В случае целых чисел случайные целые числа несколько смещены, если maxval - minval не является точной степенью двойки. Смещение невелико для значений maxval - minval значительно меньших, чем диапазон выходных данных (либо 2**32, либо 2**64).

Для случайных целых чисел полного диапазона передайте minval=None и maxval=None с целым dtype (для целочисленных типов данных, minval и maxval должны быть оба None или оба не None).

uniform_full_int

Просмотреть исходный код

uniform_full_int(
    shape,
    dtype=tf.dtypes.uint64,
    name=None
)

Равномерное распределение в полном диапазоне целого типа.

Этот метод идентичен установке minval и maxval на None в методе uniform.