tf.contrib.legacy_seq2seq.embedding_attention_seq2seq

Модель последовательности в последовательность с вложением и вниманием.

tf.contrib.legacy_seq2seq.embedding_attention_seq2seq(
    encoder_inputs, decoder_inputs, cell, num_encoder_symbols, num_decoder_symbols,
    embedding_size, num_heads=1, output_projection=None, feed_previous=False,
    dtype=None, scope=None, initial_state_attention=False
)

В этой модели сначала кодируются encoder_inputs с помощью нового вложения (размерности [num_encoder_symbols x input_size]). Затем выполняется RNN для кодирования вложенных encoder_inputs в вектор состояния. Выходы этой RNN сохраняются на каждом шаге для последующего использования в механизме внимания. Далее, декодер_inputs вкладываются с помощью другого нового вложения (размерности [num_decoder_symbols x input_size]). Затем декодер с вниманием, инициализированный последним состоянием кодировщика, обрабатывает вложенные декодер_inputs и обращается к выходам кодировщика.