tf.contrib.seq2seq.BahdanauМонотонноеВнимания

Монотонный механизм внимания с функцией энергии в стиле Баданау.

tf.contrib.seq2seq.BahdanauMonotonicAttention(
    num_units, memory, memory_sequence_length=None, normalize=False,
    score_mask_value=None, sigmoid_noise=0.0, sigmoid_noise_seed=None,
    score_bias_init=0.0, mode='parallel', dtype=None,
    name='BahdanauMonotonicAttention'
)

Этот тип внимания накладывает монотонное ограничение на распределения внимания; то есть, как только модель обратит внимание на определённую точку в памяти, она не может обращать внимание на какие-либо предыдущие точки в последующие моменты времени. Это достигается использованием _monotonic_probability_fn вместо softmax для построения распределений внимания. Поскольку оценки внимания передаются через сигмоиду, после функции оценки и перед сигмоидой применяется обучаемый скалярный смещающий параметр. В противном случае он эквивалентен BahdanauAttention. Этот подход предложен в

Colin Raffel, Minh-Thang Luong, Peter J. Liu, Ron J. Weiss, Douglas Eck, «Онлайн и линейное по времени внимание посредством принудительного монотонного выравнивания». ICML 2017. https://arxiv.org/abs/1704.00784

Методы

initial_alignments

Просмотреть исходный код

initial_alignments(
    batch_size, dtype
)

Создаёт начальные значения выравнивания для монотонного внимания.

Инициализируется дираковскими распределениями, т.е. [1, 0, 0, ...длина памяти..., 0] для всех записей в пакете.

initial_state

Просмотреть исходный код

initial_state(
    batch_size, dtype
)

Создаёт начальные значения состояния для класса AttentionWrapper.

Это важно для AttentionMechanisms, которые используют предыдущее выравнивание для расчёта выравнивания на следующем шаге (например, монотонное внимание).

По умолчанию возвращается тот же результат, что и initial_alignments.

__call__

Просмотреть исходный код

__call__(
    query, state
)

Оценка запроса на основе ключей и значений.