tf.contrib.seq2seq.LuongMonotonicAttention

Механизм монотонного внимания с функцией энергии в стиле Luong.

tf.contrib.seq2seq.LuongMonotonicAttention(
    num_units, memory, memory_sequence_length=None, scale=False,
    score_mask_value=None, sigmoid_noise=0.0, sigmoid_noise_seed=None,
    score_bias_init=0.0, mode='parallel', dtype=None, name='LuongMonotonicAttention'
)

Этот тип внимания накладывает ограничение монотонности на распределения внимания; то есть, как только модель обращает внимание на заданную точку в памяти, она не может обращать внимание на какие-либо предыдущие точки в последующие моменты времени. Это достигается с помощью _monotonic_probability_fn вместо softmax для построения распределений внимания. В противном случае он эквивалентен LuongAttention. Этот подход предложен в

Colin Raffel, Minh-Thang Luong, Peter J. Liu, Ron J. Weiss, Douglas Eck, «Online and Linear-Time Attention by Enforcing Monotonic Alignments». ICML 2017. https://arxiv.org/abs/1704.00784

Методы

initial_alignments

Просмотреть исходный код

initial_alignments(
    batch_size, dtype
)

Создаёт начальные значения выравнивания для монотонного внимания.

Инициализирует в дираковские распределения, т.е. [1, 0, 0, ...длина памяти..., 0] для всех записей в пакете.

initial_state

Просмотреть исходный код

initial_state(
    batch_size, dtype
)

Создаёт начальные значения состояния для класса AttentionWrapper.

Это важно для AttentionMechanisms, которые используют предыдущее выравнивание для расчёта выравнивания на следующем шаге времени (например, монотонное внимание).

По умолчанию возвращает тот же результат, что и initial_alignments.

__call__

Просмотреть исходный код

__call__(
    query, state
)

Оценивает запрос, основываясь на ключах и значениях.