tf.keras.layers.GRU

Ячейка с управляемыми воротами (GRU) — Cho et al. 2014.

Наследуется от: GRU, RNN, Layer, Module

tf.keras.layers.GRU(
    units, activation='tanh', recurrent_activation='sigmoid',
    use_bias=True, kernel_initializer='glorot_uniform',
    recurrent_initializer='orthogonal',
    bias_initializer='zeros', kernel_regularizer=None,
    recurrent_regularizer=None, bias_regularizer=None, activity_regularizer=None,
    kernel_constraint=None, recurrent_constraint=None, bias_constraint=None,
    dropout=0.0, recurrent_dropout=0.0, return_sequences=False, return_state=False,
    go_backwards=False, stateful=False, unroll=False, time_major=False,
    reset_after=True, **kwargs
)

См. руководство по API Keras RNN для получения подробной информации об использовании API RNN.

В зависимости от доступного оборудования и ограничений времени выполнения этот слой выберет различные реализации (на основе cuDNN или чистого TensorFlow), чтобы максимально повысить производительность. Если доступна видеокарта GPU и все аргументы слоя соответствуют требованиям ядра CuDNN (см. подробности ниже), слой будет использовать быструю реализацию cuDNN.

Требования к использованию реализации cuDNN:

1. activation == tanh
2. recurrent_activation == sigmoid
3. recurrent_dropout == 0
4. unroll — False
5. use_bias — True
6. reset_after — True
7. Входы, если используется маскирование, строго заполняются справа.
8. Выполнение Eager включено во внешнем контексте.

Существует две разновидности реализации GRU. По умолчанию используется версия v3, где ворота сброса применяются к скрытому состоянию перед умножением матриц. Другая реализация основана на оригинальной версии и имеет обратный порядок.

Вторая разновидность совместима с CuDNNGRU (только для GPU) и позволяет проводить вывод на CPU. Поэтому у неё есть отдельные смещения для kernel и recurrent_kernel. Чтобы использовать эту разновидность, установите 'reset_after'=True и recurrent_activation='sigmoid'.

Например:

inputs = tf.random.normal([32, 10, 8])
gru = tf.keras.layers.GRU(4)
output = gru(inputs)
print(output.shape)
(32, 4)
gru = tf.keras.layers.GRU(4, return_sequences=True, return_state=True)
whole_sequence_output, final_state = gru(inputs)
print(whole_sequence_output.shape)
(32, 10, 4)
print(final_state.shape)
(32, 4)

Аргументы вызова:

• inputs: 3D тензор с формой [batch, timesteps, feature].
• mask: Бинарный тензор с формой [samples, timesteps], указывающий, следует ли маскировать определённый временной шаг (необязательно, по умолчанию None).
• training: Булево значение Python, указывающее, следует ли слою работать в режиме обучения или в режиме вывода. Этот аргумент передается в ячейку при её вызове. Это актуально только при использовании dropout или recurrent_dropout (необязательно, по умолчанию None).
• initial_state: Список тензоров начальных состояний, которые нужно передать в первую ячейку (необязательно, по умолчанию None — создание тензоров начального состояния, заполненных нулями).

Методы

get_dropout_mask_for_cell

Просмотреть исходный код

get_dropout_mask_for_cell(
    inputs, training, count=1
)

Получить маску дропаута для входных данных ячейки RNN.

Создаст маску на основе контекста, если кэш маски отсутствует. Если новая маска сгенерирована, она обновит кэш в ячейке.

get_recurrent_dropout_mask_for_cell

Просмотреть исходный код

get_recurrent_dropout_mask_for_cell(
    inputs, training, count=1
)

Получить маску рекуррентного дропаута для ячейки RNN.

Создаст маску на основе контекста, если кэш маски отсутствует. Если новая маска сгенерирована, она обновит кэш в ячейке.

reset_dropout_mask

Просмотреть исходный код

reset_dropout_mask()

Сбросить кэшированные маски дропаута, если они есть.

Это важно для того, чтобы слой RNN вызывал этот метод, чтобы кэшированная маска очищалась перед вызовом cell.call(). Маска должна кэшироваться на временном шаге в рамках одной партии, но не должна кэшироваться между партиями. В противном случае это приведет к необоснованному смещению в отношении определенных индексов данных в партии.

reset_recurrent_dropout_mask

Просмотреть исходный код

reset_recurrent_dropout_mask()

Сбросить кэшированные маски рекуррентного дропаута, если они есть.

Это важно для того, чтобы слой RNN вызывал этот метод в методе call(), чтобы кэшированная маска очищалась перед вызовом cell.call(). Маска должна кэшироваться на временном шаге в рамках одной партии, но не должна кэшироваться между партиями. В противном случае это приведет к необоснованному смещению в отношении определенных индексов данных в партии.

reset_states

Просмотреть исходный код

reset_states(
    states=None
)

Сбросить записанные состояния для состояния слоя RNN.

Можно использовать только при построении слоя RNN с stateful = True. Аргументы: состояния: массивы NumPy, содержащие значение начального состояния, которое будет передано ячейке на первом временном шаге. Когда значение равно None, будет создан нулевой массив NumPy на основе размера состояния ячейки.