Spec-Zone.ru › TensorFlow

tf.compat.v1.data.Iterator

Представляет состояние итерации по Dataset.

tf.compat.v1.data.Iterator(
    iterator_resource, initializer, output_types, output_shapes, output_classes
)
Аргументы
iterator_resource Скалярный tf.resource tf.Tensor, представляющий итератор.
initializer tf.Operation, которую следует выполнить для инициализации этого итератора.
output_types (Вложенная) структура объектов tf.DType, соответствующих каждому компоненту элемента этого итератора.
output_shapes (Вложенная) структура объектов tf.TensorShape, соответствующих каждому компоненту элемента этого итератора.
output_classes (Вложенная) структура объектов Python type, соответствующих каждому компоненту элемента этого итератора.
Исключения
TypeError Если не указано output_types, output_shapes или output_classes.
Атрибуты
element_spec Спецификация типа элемента этого итератора.

Дополнительную информацию см. в этом руководстве.

initializer tf.Operation, которую следует выполнить для инициализации этого итератора.
output_classes Возвращает класс каждого компонента элемента этого итератора. (устарело)
Устарело: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущей версии. Инструкции по обновлению: используйте tf.compat.v1.data.get_output_classes(iterator).

Ожидаемые значения: tf.Tensor и tf.sparse.SparseTensor.

output_shapes Возвращает форму каждого компонента элемента этого итератора. (устарело)
Устарело: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущей версии. Инструкции по обновлению: используйте tf.compat.v1.data.get_output_shapes(iterator).
output_types Возвращает тип каждого компонента элемента этого итератора. (устарело)
Устарело: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущей версии. Инструкции по обновлению: используйте tf.compat.v1.data.get_output_types(iterator).

Методы

from_string_handle

Посмотреть исходный код

@staticmethod
from_string_handle(
    string_handle, output_types, output_shapes=None, output_classes=None
)

Создает новый неинициализированный Iterator на основе указанного дескриптора.

Этот метод позволяет определить «подключаемый» итератор, в котором можно выбирать между конкретными итераторами, передавая значение в вызов tf.Session.run. В этом случае string_handle будет объектом tf.compat.v1.placeholder, которому на каждом шаге передается значение tf.data.Iterator.string_handle.

Например, если у вас есть два итератора, отслеживающих текущую позицию в обучающем и тестовом наборах данных, вы можете на каждом шаге выбирать, какой из них использовать:

train_iterator = tf.data.Dataset(...).make_one_shot_iterator()
train_iterator_handle = sess.run(train_iterator.string_handle())

test_iterator = tf.data.Dataset(...).make_one_shot_iterator()
test_iterator_handle = sess.run(test_iterator.string_handle())

handle = tf.compat.v1.placeholder(tf.string, shape=[])
iterator = tf.data.Iterator.from_string_handle(
    handle, train_iterator.output_types)

next_element = iterator.get_next()
loss = f(next_element)

train_loss = sess.run(loss, feed_dict={handle: train_iterator_handle})
test_loss = sess.run(loss, feed_dict={handle: test_iterator_handle})
Аргументы
string_handle Скалярный tf.Tensor типа tf.string, результатом вычисления которого является дескриптор, полученный методом Iterator.string_handle().
output_types (Вложенная) структура объектов tf.DType, соответствующих каждому компоненту элемента этого набора данных.
output_shapes (Необязательно.) (Вложенная) структура объектов tf.TensorShape, соответствующих каждому компоненту элемента этого набора данных. Если не указано, форма каждого компонента будет неограниченной.
output_classes (Необязательно.) (Вложенная) структура объектов Python type, соответствующих каждому компоненту элемента этого итератора. Если не указано, предполагается, что тип каждого компонента — tf.Tensor.
Возвращает
Объект Iterator.

from_structure

Посмотреть исходный код

@staticmethod
from_structure(
    output_types, output_shapes=None, shared_name=None, output_classes=None
)

Создает новый неинициализированный Iterator с указанной структурой.

Этот метод создания итератора можно использовать, чтобы создать итератор, пригодный для повторного использования с различными наборами данных.

Возвращаемый итератор не привязан к конкретному набору данных и не имеет initializer. Чтобы инициализировать итератор, выполните операцию, возвращаемую методом Iterator.make_initializer(dataset).

Ниже приведен пример.

iterator = Iterator.from_structure(tf.int64, tf.TensorShape([]))

dataset_range = Dataset.range(10)
range_initializer = iterator.make_initializer(dataset_range)

dataset_evens = dataset_range.filter(lambda x: x % 2 == 0)
evens_initializer = iterator.make_initializer(dataset_evens)

# Define a model based on the iterator; in this example, the model_fn
# is expected to take scalar tf.int64 Tensors as input (see
# the definition of 'iterator' above).
prediction, loss = model_fn(iterator.get_next())

# Train for `num_epochs`, where for each epoch, we first iterate over
# dataset_range, and then iterate over dataset_evens.
for _ in range(num_epochs):
  # Initialize the iterator to `dataset_range`
  sess.run(range_initializer)
  while True:
    try:
      pred, loss_val = sess.run([prediction, loss])
    except tf.errors.OutOfRangeError:
      break

  # Initialize the iterator to `dataset_evens`
  sess.run(evens_initializer)
  while True:
    try:
      pred, loss_val = sess.run([prediction, loss])
    except tf.errors.OutOfRangeError:
      break
Аргументы
output_types (Вложенная) структура объектов tf.DType, соответствующих каждому компоненту элемента этого набора данных.
output_shapes (Необязательно.) (Вложенная) структура объектов tf.TensorShape, соответствующих каждому компоненту элемента этого набора данных. Если не указано, форма каждого компонента будет неограниченной.
shared_name (Необязательно.) Если значение непустое, этот итератор будет доступен под указанным именем в нескольких сеансах, использующих одни и те же устройства (например, при работе с удаленным сервером).
output_classes (Необязательно.) (Вложенная) структура объектов Python type, соответствующих каждому компоненту элемента этого итератора. Если не указано, предполагается, что тип каждого компонента — tf.Tensor.
Возвращает
Объект Iterator.
Исключения
TypeError Если структуры output_shapes и output_types не совпадают.

get_next

Посмотреть исходный код

get_next(
    name=None
)

Возвращает следующий элемент.

В режиме графа обычно следует вызвать этот метод один раз и использовать его результат как входные данные для другого вычисления. Затем в типичном цикле вызывается tf.Session.run для результата этого вычисления. Цикл завершится, когда операция Iterator.get_next() вызовет исключение tf.errors.OutOfRangeError. Ниже показан общий шаблон использования этого метода при создании цикла обучения:

dataset = ...  # A `tf.data.Dataset` object.
iterator = dataset.make_initializable_iterator()
next_element = iterator.get_next()

# Build a TensorFlow graph that does something with each element.
loss = model_function(next_element)
optimizer = ...  # A `tf.compat.v1.train.Optimizer` object.
train_op = optimizer.minimize(loss)

with tf.compat.v1.Session() as sess:
  try:
    while True:
      sess.run(train_op)
  except tf.errors.OutOfRangeError:
    pass
Примечание: Допускается вызывать Iterator.get_next() несколько раз, например, если на одном шаге вы распределяете разные элементы по нескольким устройствам. Однако часто пользователи допускают ошибку, вызывая Iterator.get_next() на каждой итерации цикла обучения. Iterator.get_next() добавляет операции в граф, а выполнение каждой операции выделяет ресурсы (в том числе потоки); поэтому вызов этого метода на каждой итерации цикла обучения приводит к замедлению работы и в конечном итоге к исчерпанию ресурсов. Чтобы предотвратить это, мы регистрируем предупреждение, когда число вызовов превышает фиксированный порог подозрительной активности.
Аргументы
name (Необязательно.) Имя создаваемой операции.
Возвращает
(Вложенную) структуру значений, соответствующую tf.data.Iterator.element_spec.

get_next_as_optional

Посмотреть исходный код

get_next_as_optional()

make_initializer

Посмотреть исходный код

make_initializer(
    dataset, name=None
)

Возвращает tf.Operation, которая инициализирует этот итератор на dataset.

Аргументы
dataset Объект Dataset, у которого element_spec совместим с этим итератором.
name (Необязательно.) Имя создаваемой операции.
Возвращает
tf.Operation, которую можно выполнить для инициализации этого итератора на указанном dataset.
Исключения
TypeError Если dataset и этот итератор несовместимы по element_spec.

string_handle

Посмотреть исходный код

string_handle(
    name=None
)

Возвращает строковый tf.Tensor, представляющий этот итератор.

Аргументы
name (Необязательно.) Имя создаваемой операции.
Возвращает
Скалярный tf.Tensor типа tf.string.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/compat/v1/data/Iterator

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API