tf.compat.v1.data.Iterator
Представляет состояние итерации по Dataset.
tf.compat.v1.data.Iterator(
iterator_resource, initializer, output_types, output_shapes, output_classes
)
| Аргументы | |
|---|---|
iterator_resource | Скалярный tf.resource tf.Tensor, представляющий итератор. |
initializer | tf.Operation, которую следует выполнить для инициализации этого итератора. |
output_types | (Вложенная) структура объектов tf.DType, соответствующих каждому компоненту элемента этого итератора. |
output_shapes | (Вложенная) структура объектов tf.TensorShape, соответствующих каждому компоненту элемента этого итератора. |
output_classes | (Вложенная) структура объектов Python type, соответствующих каждому компоненту элемента этого итератора. |
| Исключения | |
|---|---|
TypeError | Если не указано output_types, output_shapes или output_classes. |
| Атрибуты | |
|---|---|
element_spec | Спецификация типа элемента этого итератора. Дополнительную информацию см. в этом руководстве. |
initializer | tf.Operation, которую следует выполнить для инициализации этого итератора. |
output_classes | Возвращает класс каждого компонента элемента этого итератора. (устарело) Ожидаемые значения: |
output_shapes | Возвращает форму каждого компонента элемента этого итератора. (устарело) |
output_types | Возвращает тип каждого компонента элемента этого итератора. (устарело) |
Методы
from_string_handle
@staticmethod
from_string_handle(
string_handle, output_types, output_shapes=None, output_classes=None
)
Создает новый неинициализированный Iterator на основе указанного дескриптора.
Этот метод позволяет определить «подключаемый» итератор, в котором можно выбирать между конкретными итераторами, передавая значение в вызов tf.Session.run. В этом случае string_handle будет объектом tf.compat.v1.placeholder, которому на каждом шаге передается значение tf.data.Iterator.string_handle.
Например, если у вас есть два итератора, отслеживающих текущую позицию в обучающем и тестовом наборах данных, вы можете на каждом шаге выбирать, какой из них использовать:
train_iterator = tf.data.Dataset(...).make_one_shot_iterator()
train_iterator_handle = sess.run(train_iterator.string_handle())
test_iterator = tf.data.Dataset(...).make_one_shot_iterator()
test_iterator_handle = sess.run(test_iterator.string_handle())
handle = tf.compat.v1.placeholder(tf.string, shape=[])
iterator = tf.data.Iterator.from_string_handle(
handle, train_iterator.output_types)
next_element = iterator.get_next()
loss = f(next_element)
train_loss = sess.run(loss, feed_dict={handle: train_iterator_handle})
test_loss = sess.run(loss, feed_dict={handle: test_iterator_handle})
| Аргументы | |
|---|---|
string_handle | Скалярный tf.Tensor типа tf.string, результатом вычисления которого является дескриптор, полученный методом Iterator.string_handle(). |
output_types | (Вложенная) структура объектов tf.DType, соответствующих каждому компоненту элемента этого набора данных. |
output_shapes | (Необязательно.) (Вложенная) структура объектов tf.TensorShape, соответствующих каждому компоненту элемента этого набора данных. Если не указано, форма каждого компонента будет неограниченной. |
output_classes | (Необязательно.) (Вложенная) структура объектов Python type, соответствующих каждому компоненту элемента этого итератора. Если не указано, предполагается, что тип каждого компонента — tf.Tensor. |
| Возвращает | |
|---|---|
Объект Iterator. |
from_structure
@staticmethod
from_structure(
output_types, output_shapes=None, shared_name=None, output_classes=None
)
Создает новый неинициализированный Iterator с указанной структурой.
Этот метод создания итератора можно использовать, чтобы создать итератор, пригодный для повторного использования с различными наборами данных.
Возвращаемый итератор не привязан к конкретному набору данных и не имеет initializer. Чтобы инициализировать итератор, выполните операцию, возвращаемую методом Iterator.make_initializer(dataset).
Ниже приведен пример.
iterator = Iterator.from_structure(tf.int64, tf.TensorShape([]))
dataset_range = Dataset.range(10)
range_initializer = iterator.make_initializer(dataset_range)
dataset_evens = dataset_range.filter(lambda x: x % 2 == 0)
evens_initializer = iterator.make_initializer(dataset_evens)
# Define a model based on the iterator; in this example, the model_fn
# is expected to take scalar tf.int64 Tensors as input (see
# the definition of 'iterator' above).
prediction, loss = model_fn(iterator.get_next())
# Train for `num_epochs`, where for each epoch, we first iterate over
# dataset_range, and then iterate over dataset_evens.
for _ in range(num_epochs):
# Initialize the iterator to `dataset_range`
sess.run(range_initializer)
while True:
try:
pred, loss_val = sess.run([prediction, loss])
except tf.errors.OutOfRangeError:
break
# Initialize the iterator to `dataset_evens`
sess.run(evens_initializer)
while True:
try:
pred, loss_val = sess.run([prediction, loss])
except tf.errors.OutOfRangeError:
break
| Аргументы | |
|---|---|
output_types | (Вложенная) структура объектов tf.DType, соответствующих каждому компоненту элемента этого набора данных. |
output_shapes | (Необязательно.) (Вложенная) структура объектов tf.TensorShape, соответствующих каждому компоненту элемента этого набора данных. Если не указано, форма каждого компонента будет неограниченной. |
shared_name | (Необязательно.) Если значение непустое, этот итератор будет доступен под указанным именем в нескольких сеансах, использующих одни и те же устройства (например, при работе с удаленным сервером). |
output_classes | (Необязательно.) (Вложенная) структура объектов Python type, соответствующих каждому компоненту элемента этого итератора. Если не указано, предполагается, что тип каждого компонента — tf.Tensor. |
| Возвращает | |
|---|---|
Объект Iterator. |
| Исключения | |
|---|---|
TypeError | Если структуры output_shapes и output_types не совпадают. |
get_next
get_next(
name=None
)
Возвращает следующий элемент.
В режиме графа обычно следует вызвать этот метод один раз и использовать его результат как входные данные для другого вычисления. Затем в типичном цикле вызывается tf.Session.run для результата этого вычисления. Цикл завершится, когда операция Iterator.get_next() вызовет исключение tf.errors.OutOfRangeError. Ниже показан общий шаблон использования этого метода при создании цикла обучения:
dataset = ... # A `tf.data.Dataset` object.
iterator = dataset.make_initializable_iterator()
next_element = iterator.get_next()
# Build a TensorFlow graph that does something with each element.
loss = model_function(next_element)
optimizer = ... # A `tf.compat.v1.train.Optimizer` object.
train_op = optimizer.minimize(loss)
with tf.compat.v1.Session() as sess:
try:
while True:
sess.run(train_op)
except tf.errors.OutOfRangeError:
pass
Примечание: Допускается вызыватьIterator.get_next()несколько раз, например, если на одном шаге вы распределяете разные элементы по нескольким устройствам. Однако часто пользователи допускают ошибку, вызываяIterator.get_next()на каждой итерации цикла обучения.Iterator.get_next()добавляет операции в граф, а выполнение каждой операции выделяет ресурсы (в том числе потоки); поэтому вызов этого метода на каждой итерации цикла обучения приводит к замедлению работы и в конечном итоге к исчерпанию ресурсов. Чтобы предотвратить это, мы регистрируем предупреждение, когда число вызовов превышает фиксированный порог подозрительной активности.
| Аргументы | |
|---|---|
name | (Необязательно.) Имя создаваемой операции. |
| Возвращает | |
|---|---|
(Вложенную) структуру значений, соответствующую tf.data.Iterator.element_spec. |
get_next_as_optional
get_next_as_optional()
make_initializer
make_initializer(
dataset, name=None
)
Возвращает tf.Operation, которая инициализирует этот итератор на dataset.
| Аргументы | |
|---|---|
dataset | Объект Dataset, у которого element_spec совместим с этим итератором. |
name | (Необязательно.) Имя создаваемой операции. |
| Возвращает | |
|---|---|
tf.Operation, которую можно выполнить для инициализации этого итератора на указанном dataset. |
| Исключения | |
|---|---|
TypeError | Если dataset и этот итератор несовместимы по element_spec. |
string_handle
string_handle(
name=None
)
Возвращает строковый tf.Tensor, представляющий этот итератор.
| Аргументы | |
|---|---|
name | (Необязательно.) Имя создаваемой операции. |
| Возвращает | |
|---|---|
Скалярный tf.Tensor типа tf.string. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/compat/v1/data/Iterator