tf.keras.layers.GRU

Узел с управляемым повторным входом — Cho et al. 2014.

Наследует от: GRU

tf.keras.layers.GRU(
    units, activation='tanh', recurrent_activation='sigmoid', use_bias=True,
    kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal',
    bias_initializer='zeros', kernel_regularizer=None, recurrent_regularizer=None,
    bias_regularizer=None, activity_regularizer=None, kernel_constraint=None,
    recurrent_constraint=None, bias_constraint=None, dropout=0.0,
    recurrent_dropout=0.0, implementation=2, return_sequences=False,
    return_state=False, go_backwards=False, stateful=False, unroll=False,
    time_major=False, reset_after=True, **kwargs
)

Подробную информацию об использовании API RNN см. в руководстве по API Keras RNN.

В зависимости от доступного оборудования и ограничений времени выполнения этот слой выберет различные реализации (на основе cuDNN или чисто TensorFlow), чтобы максимизировать производительность. Если доступен графический процессор и все аргументы слоя соответствуют требованиям ядра CuDNN (подробности см. ниже), слой будет использовать быструю реализацию cuDNN.

Требования к использованию реализации cuDNN:

1. activation == tanh
2. recurrent_activation == sigmoid
3. recurrent_dropout == 0
4. unroll равно False
5. use_bias равно True
6. reset_after равно True
7. Входы, если используется маскирование, строго заполняются справа.
8. Включение режима выполнения Eager в самом внешнем контексте.

Существует два варианта реализации GRU. По умолчанию используется вариант, основанный на v3, где управляющий вентиль сброса применяется к скрытому состоянию перед матричным умножением. Другой вариант основан на оригинальной статье и имеет обратный порядок.

Второй вариант совместим с CuDNNGRU (только для графических процессоров) и позволяет выполнение вывода на процессоре. Поэтому он имеет отдельные смещения для kernel и recurrent_kernel. Чтобы использовать этот вариант, установите 'reset_after'=True и recurrent_activation='sigmoid'.

Например:

inputs = tf.random.normal([32, 10, 8])
gru = tf.keras.layers.GRU(4)
output = gru(inputs)
print(output.shape)
(32, 4)
gru = tf.keras.layers.GRU(4, return_sequences=True, return_state=True)
whole_sequence_output, final_state = gru(inputs)
print(whole_sequence_output.shape)
(32, 10, 4)
print(final_state.shape)
(32, 4)

Аргументы вызова:

• inputs: Тензор 3D, с формой [batch, timesteps, feature].
• mask: Бинарный тензор формы [samples, timesteps] указывающий, следует ли маскировать данный шаг во времени (необязательный, по умолчанию None).
• training: Python-логическое значение указывающее, должен ли слой вести себя в режиме обучения или в режиме вывода. Этот аргумент передается ячейке при ее вызове. Это актуально только если используется dropout или recurrent_dropout (необязательно, по умолчанию None).
• initial_state: Список тензоров начального состояния, передаваемых в первую функцию ячейки (необязательный, по умолчанию None что приводит к созданию тензоров начального состояния, заполненных нулями).

Методы

get_dropout_mask_for_cell

Просмотреть исходный код

get_dropout_mask_for_cell(
    inputs, training, count=1
)

Получение маски дропаут для входного значения ячейки RNN.

Создаст маску на основе контекста, если в кэше нет маски. Если генерируется новая маска, она обновляет кэш в ячейке.

get_recurrent_dropout_mask_for_cell

Просмотреть исходный код

get_recurrent_dropout_mask_for_cell(
    inputs, training, count=1
)

Получение маски рекуррентного дропаут для ячейки RNN.

Создаст маску на основе контекста, если в кэше нет маски. Если генерируется новая маска, она обновляет кэш в ячейке.

reset_dropout_mask

Просмотреть исходный код

reset_dropout_mask()

Сбросить кэшированные маски дропаута, если они есть.

Это важно для слоя RNN, чтобы вызвать это в методе call(), чтобы кэшированная маска была очищена перед вызовом cell.call(). Маска должна быть кэширована на временном шаге в рамках одной партии, но не должна кэшироваться между партиями. В противном случае это внесёт необоснованный перекос против определенных индексов данных внутри партии.

reset_recurrent_dropout_mask

Просмотреть исходный код

reset_recurrent_dropout_mask()

Сбросить кэшированные маски рекуррентного дропаута, если они есть.

Это важно для слоя RNN, чтобы вызвать это в методе call(), чтобы кэшированная маска была очищена перед вызовом cell.call(). Маска должна быть кэширована на временном шаге в рамках одной партии, но не должна кэшироваться между партиями. В противном случае это внесёт необоснованный перекос против определенных индексов данных внутри партии.

reset_states

Просмотреть исходный код

reset_states(
    states=None
)

Сбросить записанные состояния для состояния RNN.

Может быть использован только тогда, когда слой RNN создан с stateful = True. Аргументы: states: Массивы NumPy, содержащие значение начального состояния, которое будет передано ячейке на первом временном шаге. Когда значение равно None, будет создан массив NumPy с нулевыми значениями на основе размера состояния ячейки.