tf.data.Iterator

Представляет состояние итерации по Dataset.

Наследуется от: CheckpointableBase

tf.data.Iterator(
    iterator_resource, initializer, output_types, output_shapes, output_classes
)

Методы

from_string_handle

Просмотреть исходный код

@staticmethod
from_string_handle(
    string_handle, output_types, output_shapes=None, output_classes=None
)

Создаёт новый, неинициализированный Iterator на основе заданного дескриптора.

Этот метод позволяет определить "питаемый" итератор, где вы можете выбирать между конкретными итераторами, передавая значение в вызове tf.Session.run. В этом случае, string_handle будет tf.compat.v1.placeholder, и вы будете передавать его значение tf.data.Iterator.string_handle на каждом шаге.

Например, если у вас есть два итератора, которые отмечают текущую позицию в наборе данных обучения и набора данных проверки, вы можете выбрать, какой использовать на каждом шаге следующим образом:

train_iterator = tf.data.Dataset(...).make_one_shot_iterator()
train_iterator_handle = sess.run(train_iterator.string_handle())

test_iterator = tf.data.Dataset(...).make_one_shot_iterator()
test_iterator_handle = sess.run(test_iterator.string_handle())

handle = tf.compat.v1.placeholder(tf.string, shape=[])
iterator = tf.data.Iterator.from_string_handle(
    handle, train_iterator.output_types)

next_element = iterator.get_next()
loss = f(next_element)

train_loss = sess.run(loss, feed_dict={handle: train_iterator_handle})
test_loss = sess.run(loss, feed_dict={handle: test_iterator_handle})

from_structure

Просмотреть исходный код

@staticmethod
from_structure(
    output_types, output_shapes=None, shared_name=None, output_classes=None
)

Создаёт новый, неинициализированный Iterator с заданной структурой.

Этот метод создания итератора может использоваться для создания итератора, который можно повторно использовать с множеством различных наборов данных.

Возвращённый итератор не привязан к конкретному набору данных и не имеет initializer. Для инициализации итератора выполните операцию, возвращённую методом Iterator.make_initializer(dataset).

Следующий пример

iterator = Iterator.from_structure(tf.int64, tf.TensorShape([]))

dataset_range = Dataset.range(10)
range_initializer = iterator.make_initializer(dataset_range)

dataset_evens = dataset_range.filter(lambda x: x % 2 == 0)
evens_initializer = iterator.make_initializer(dataset_evens)

# Define a model based on the iterator; in this example, the model_fn
# is expected to take scalar tf.int64 Tensors as input (see
# the definition of 'iterator' above).
prediction, loss = model_fn(iterator.get_next())

# Train for `num_epochs`, where for each epoch, we first iterate over
# dataset_range, and then iterate over dataset_evens.
for _ in range(num_epochs):
  # Initialize the iterator to `dataset_range`
  sess.run(range_initializer)
  while True:
    try:
      pred, loss_val = sess.run([prediction, loss])
    except tf.errors.OutOfRangeError:
      break

  # Initialize the iterator to `dataset_evens`
  sess.run(evens_initializer)
  while True:
    try:
      pred, loss_val = sess.run([prediction, loss])
    except tf.errors.OutOfRangeError:
      break

get_next

Просмотреть исходный код

get_next(
    name=None
)

Возвращает вложенную структуру tf.Tensors, представляющую следующий элемент.

В режиме графа вы, как правило, должны вызывать этот метод *один раз* и использовать его результат в качестве входных данных для другого вычисления. Тогда цикл обычно вызовет tf.Session.run на результате этого вычисления. Цикл завершится, когда операция Iterator.get_next() сгенерирует tf.errors.OutOfRangeError. Следующий фрагмент кода демонстрирует использование этого метода при построении цикла обучения:

dataset = ...  # A `tf.data.Dataset` object.
iterator = dataset.make_initializable_iterator()
next_element = iterator.get_next()

# Build a TensorFlow graph that does something with each element.
loss = model_function(next_element)
optimizer = ...  # A `tf.compat.v1.train.Optimizer` object.
train_op = optimizer.minimize(loss)

with tf.compat.v1.Session() as sess:
  try:
    while True:
      sess.run(train_op)
  except tf.errors.OutOfRangeError:
    pass

Примечание: Допустимо вызывать Iterator.get_next() несколько раз, например, когда вы распределяете разные элементы по нескольким устройствам в одном шаге. Однако часто возникает проблема, когда пользователи вызывают Iterator.get_next() в каждом цикле обучения. Iterator.get_next() добавляет операции в граф, и выполнение каждой операции выделяет ресурсы (включая потоки); в результате вызов в каждом цикле обучения приводит к замедлению и истощению ресурсов. Чтобы избежать этого, мы выводим предупреждение, когда количество использований превышает фиксированный порог подозрительности.

make_initializer

Просмотреть исходный код

make_initializer(
    dataset, name=None
)

Возвращает tf.Operation, который инициализирует этот итератор в dataset.

string_handle

Просмотреть исходный код

string_handle(
    name=None
)

Возвращает строковое tf.Tensor значение, представляющее этот итератор.