tf.keras.layers.AdditiveAttention

Слой аддитивной внимательности, также известный как внимание по Баханау.

Наследует от: Layer, Module

tf.keras.layers.AdditiveAttention(
    use_scale=True, **kwargs
)

Входы — это query тензор формы [batch_size, Tq, dim], value тензор формы [batch_size, Tv, dim] и key тензор формы [batch_size, Tv, dim]. Вычисление выполняется по шагам:

1. Переформировать query и key в формы [batch_size, Tq, 1, dim] и [batch_size, 1, Tv, dim] соответственно.
2. Вычислить оценки с формой [batch_size, Tq, Tv] как нелинейную сумму: scores = tf.reduce_sum(tf.tanh(query + key), axis=-1)
3. Использовать оценки для вычисления распределения с формой [batch_size, Tq, Tv]: distribution = tf.nn.softmax(scores).
4. Использовать distribution для создания линейной комбинации value с формой [batch_size, Tq, dim]: return tf.matmul(distribution, value).

Аргументы вызова:

• inputs: Список следующих тензоров:
  • запрос: Запрос Tensor формы [batch_size, Tq, dim].
  • значение: Значение Tensor формы [batch_size, Tv, dim].
  • ключ: Необязательный ключ Tensor формы [batch_size, Tv, dim]. Если не задан, будет использоваться value для key и value, что является наиболее распространенным случаем.
• mask: Список следующих тензоров:
  • маска запроса: Булевая маска Tensor формы [batch_size, Tq]. Если задана, выход будет равен нулю в позициях, где mask==False.
  • маска значения: Булевая маска Tensor формы [batch_size, Tv]. Если задана, будет применена маска, такая что значения в позициях, где mask==False не будут способствовать результату.
• training: Булево значение Python, указывающее, должен ли слой вести себя в режиме обучения (добавление дропаута) или в режиме вывода (без дропаута).
• return_attention_scores: bool, если True, возвращает оценки внимания (после маскирования и применения softmax) в качестве дополнительного аргумента вывода.

Вывод:

Выходы внимания формы [batch_size, Tq, dim]. [Необязательно] Оценки внимания после маскирования и применения softmax с формой [batch_size, Tq, Tv].

Значение query, value и key зависит от приложения. Например, в случае сходства текстов query — это вложения последовательности первого текста, а value — вложения последовательности второго текста. key обычно является тем же тензором, что и value.

Вот пример использования AdditiveAttention в сети CNN+Внимание:

# Variable-length int sequences.
query_input = tf.keras.Input(shape=(None,), dtype='int32')
value_input = tf.keras.Input(shape=(None,), dtype='int32')

# Embedding lookup.
token_embedding = tf.keras.layers.Embedding(max_tokens, dimension)
# Query embeddings of shape [batch_size, Tq, dimension].
query_embeddings = token_embedding(query_input)
# Value embeddings of shape [batch_size, Tv, dimension].
value_embeddings = token_embedding(value_input)

# CNN layer.
cnn_layer = tf.keras.layers.Conv1D(
    filters=100,
    kernel_size=4,
    # Use 'same' padding so outputs have the same shape as inputs.
    padding='same')
# Query encoding of shape [batch_size, Tq, filters].
query_seq_encoding = cnn_layer(query_embeddings)
# Value encoding of shape [batch_size, Tv, filters].
value_seq_encoding = cnn_layer(value_embeddings)

# Query-value attention of shape [batch_size, Tq, filters].
query_value_attention_seq = tf.keras.layers.AdditiveAttention()(
    [query_seq_encoding, value_seq_encoding])

# Reduce over the sequence axis to produce encodings of shape
# [batch_size, filters].
query_encoding = tf.keras.layers.GlobalAveragePooling1D()(
    query_seq_encoding)
query_value_attention = tf.keras.layers.GlobalAveragePooling1D()(
    query_value_attention_seq)

# Concatenate query and document encodings to produce a DNN input layer.
input_layer = tf.keras.layers.Concatenate()(
    [query_encoding, query_value_attention])

# Add DNN layers, and create Model.
# ...