tf.contrib.tpu.InfeedQueue

Вспомогательный объект для построения очереди ввода на устройстве.

tf.contrib.tpu.InfeedQueue(
    number_of_tuple_elements=None, tuple_types=None, tuple_shapes=None,
    shard_dimensions=None, name=None
)

Объект InfeedQueue строит операции для очереди, выполняющие добавление и извлечение элементов на стороне хоста и устройства соответственно, и гарантирует соответствие их типов и форм.

Методы

freeze

Просмотреть исходный код

freeze()

Замораживает InfeedQueue, чтобы больше нельзя было его изменять.

Конфигурация неявно замораживается перед генерацией каких-либо операций на стороне хоста или устройства. Конфигурацию нельзя заморозить, пока не будут заданы типы и формы элементов кортежа.

generate_dequeue_op

Просмотреть исходный код

generate_dequeue_op(
    tpu_device=0
)

Генерирует операцию на стороне устройства для извлечения кортежа из очереди.

Неявно замораживает конфигурацию очереди, если она не заморожена, что вызовет ошибки, если формы и типы не полностью определены.

generate_enqueue_ops

Просмотреть исходный код

generate_enqueue_ops(
    sharded_inputs, tpu_ordinal_function=None, placement_function=None
)

Генерирует операции на стороне хоста для добавления фрагментов кортежа.

sharded_inputs — список, по одному для каждого фрагмента, списков тензоров. sharded_inputs[0] — кортеж тензоров, используемых для подачи фрагмента 0, если очередь. Возвращает операции на стороне хоста, которые необходимо выполнить для добавления фрагментированного кортежа. Операция для фрагмента i расположена совместно с входными данными для фрагмента i.

Неявно замораживает конфигурацию очереди, если она не заморожена. Если конфигурация уже заморожена и несовместима с типами и формами sharded_inputs, будет поднято исключение.

set_configuration_from_input_tensors

Просмотреть исходный код

set_configuration_from_input_tensors(
    input_tensors
)

Устанавливает формы и типы элементов кортежа очереди.

input_tensors — список тензоров, типы и формы которых используются для установки конфигурации очереди.

set_configuration_from_sharded_input_tensors

Просмотреть исходный код

set_configuration_from_sharded_input_tensors(
    input_tensors
)

Устанавливает формы и типы элементов кортежа очереди.

input_tensors — список списков тензоров, типы и формы которых используются для установки конфигурации очереди. Длина внешнего списка — необходимое количество фрагментов, а каждый внутренний список — кортеж тензоров для определения типов и форм соответствующего фрагмента. Этот метод зависит от размерности фрагмента и замораживает политику фрагментации.

set_number_of_shards

Просмотреть исходный код

set_number_of_shards(
    number_of_shards
)

Устанавливает количество фрагментов для использования в InfeedQueue.

set_shard_dimensions

Просмотреть исходный код

set_shard_dimensions(
    shard_dimensions
)

Устанавливает shard_dimension каждого элемента очереди.

shard_dimensions должен быть списком длины self.number_of_tuple_elements, и каждый элемент должен быть преобразуем в Dimension, совместимую с self.tuple_shapes.

set_tuple_shapes

Просмотр исходного кода

set_tuple_shapes(
    tuple_shapes
)

Устанавливает форму каждого элемента очереди.

tuple_shapes должен быть списком длины self.number_of_tuple_elements, и каждый элемент должен быть преобразуем в TensorShape.

set_tuple_types

Просмотр исходного кода

set_tuple_types(
    tuple_types
)

Устанавливает тип каждого элемента очереди.

tuple_types должен быть списком длины self.number_of_tuple_elements, и каждый элемент должен быть преобразуем в тип данных.

split_inputs_and_generate_enqueue_ops

Просмотр исходного кода

split_inputs_and_generate_enqueue_ops(
    inputs, device_assignment=None, placement_function=None,
    tpu_ordinal_function=None
)

НЕЭФФЕКТИВНО ПРИ РАБОТЕ С МНОЖЕСТВОМ СИСТЕМ.

Генерирует операции для добавления кортежа в очередь.

Этот метод работает плохо, так как принимает весь вход на одном хосте, разделяет его и распределяет по всем ядрам. Он включен только для упрощения примеров в учебниках.

inputs — это список тензоров, используемых для подпитки очереди. Каждый вход разделяется на self.number_of_shards фрагментов. Возвращает операцию для добавления каждого фрагмента в очередь. Операция для фрагмента i размещается на устройстве placement_function(i).

Неявно замораживает конфигурацию очереди, если она еще не заморожена. Если конфигурация уже заморожена и несовместима с типами и формами входов, произойдёт ошибка.