tf.contrib.training.batch_sequences_with_states

Создаёт пакеты сегментов последовательного ввода.

tf.contrib.training.batch_sequences_with_states(
    input_key, input_sequences, input_context, input_length, initial_states,
    num_unroll, batch_size, num_threads=3, capacity=1000, allow_small_batch=True,
    pad=True, make_keys_unique=False, make_keys_unique_seed=None, name=None
)

Этот метод создаёт SequenceQueueingStateSaver (SQSS) и добавляет его в очереди-запускатели. Он возвращает NextQueuedSequenceBatch.

Он принимает по одному примеру за раз, идентифицируемому уникальным input_key. input_sequence — это словарь со значениями, которые являются тензорами со временем как первым измерением. Это измерение времени должно быть одинаковым для всех тензоров одного примера. Оно может изменяться между примерами. Хотя оно всегда должно быть кратно num_unroll. Поэтому, возможно, необходима загрузка, и она включена по умолчанию в pad=True.

input_length — это скалярный тензор или целое число, записывающее измерение времени до загрузки. Оно должно быть от 0 до измерения времени. Одна из причин, по которой мы хотим отслеживать это, заключается в том, чтобы мы могли учитывать его при вычислении потерь. Если pad=True, то input_length может быть None и будет определено.

Этот метод сегментирует input_sequence на сегменты длиной num_unroll. Он группирует последовательности ввода из batch_size примеров. Эти мини-пакеты доступны через свойство sequence вывода. Кроме того, для каждой записи в пакете мы можем получить доступ к её исходному input_key в key и её длине ввода в total_length. length записывает в этом сегменте, сколько не загруженных временных шагов существует.

Статические характеристики примера, которые не меняются во времени, могут быть частью input_context, словаря со значениями тензора. Этот метод копирует контекст для каждого сегмента и делает его доступным в context вывода.

Этот метод может поддерживать и обновлять состояние для каждого примера. Он принимает некоторые initial_states как словарь со значениями тензора. В первом мини-пакете, содержащем пример, initial_states являются записью в state. Если вызов save_state, то следующий сегмент будет иметь обновлённую запись в state. См. NextQueuedSequenceBatch для полного списка свойств и методов.

Пример использования:

batch_size = 32
num_unroll = 20
num_enqueue_threads = 3
lstm_size = 8
cell = tf.compat.v1.nn.rnn_cell.BasicLSTMCell(num_units=lstm_size)

key, sequences, context = my_parser(raw_data)
initial_state_values = tf.zeros((state_size,), dtype=tf.float32)
initial_states = {"lstm_state": initial_state_values}
batch = tf.batch_sequences_with_states(
    input_key=key,
    input_sequences=sequences,
    input_context=context,
    input_length=tf.shape(sequences["input"])[0],
    initial_states=initial_states,
    num_unroll=num_unroll,
    batch_size=batch_size,
    num_threads=num_enqueue_threads,
    capacity=batch_size * num_enqueue_threads * 2)

inputs = batch.sequences["input"]
context_label = batch.context["label"]

inputs_by_time = tf.split(value=inputs, num_or_size_splits=num_unroll, axis=1)
assert len(inputs_by_time) == num_unroll

lstm_output, _ = tf.contrib.rnn.static_state_saving_rnn(
  cell,
  inputs_by_time,
  state_saver=batch,
  state_name="lstm_state")

# Start a prefetcher in the background
sess = tf.compat.v1.Session()

tf.compat.v1.train.start_queue_runners(sess=session)

while True:
  # Step through batches, perform training or inference...
  session.run([lstm_output])