tf.compat.v2.keras.layers.GRU

Узел с управляемыми обратными связями — Cho и др. 2014.

Наследуется от: GRU

tf.compat.v2.keras.layers.GRU(
    units, activation='tanh', recurrent_activation='sigmoid', use_bias=True,
    kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal',
    bias_initializer='zeros', kernel_regularizer=None, recurrent_regularizer=None,
    bias_regularizer=None, activity_regularizer=None, kernel_constraint=None,
    recurrent_constraint=None, bias_constraint=None, dropout=0.0,
    recurrent_dropout=0.0, implementation=2, return_sequences=False,
    return_state=False, go_backwards=False, stateful=False, unroll=False,
    time_major=False, reset_after=True, **kwargs
)

В зависимости от доступного оборудования и ограничений во время выполнения, этот слой выберет различные реализации (на основе cuDNN или чисто TensorFlow), чтобы максимизировать производительность. Если доступна видеокарта, и все аргументы слоя удовлетворяют требования ядра CuDNN (см. подробности ниже), слой будет использовать быструю реализацию cuDNN.

Требования для использования реализации cuDNN:

1. activation == 'tanh'
2. recurrent_activation == 'sigmoid'
3. recurrent_dropout == 0
4. unroll равно False
5. use_bias равно True
6. reset_after равно True
7. Входные данные не замаскированы и не имеют строго правого заполнения.

Существуют два варианта реализации GRU. По умолчанию используется вариант, основанный на v3, и в нём применяется управляющая функция к скрытому состоянию перед матричным умножением. Другой вариант основан на оригинале и порядок операций изменён.

Второй вариант совместим с CuDNNGRU (только для видеокарт) и позволяет проводить вычисления на процессоре. Таким образом, у него есть отдельные смещения для kernel и recurrent_kernel. Для использования этого варианта установите 'reset_after'=True и recurrent_activation='sigmoid'.

Аргументы вызова:

• inputs: 3D тензор.
• mask: Бинарный тензор формы (samples, timesteps) , указывающий, должен ли быть замаскирован данный временной шаг (необязательный, по умолчанию None).
• training: Булево значение Python, указывающее, должен ли слой работать в режиме обучения или в режиме вывода. Этот аргумент передаётся ячейке при её вызове. Это актуально только если используется dropout или recurrent_dropout (необязательный, по умолчанию None).
• initial_state: Список начальных тензоров состояния, которые должны быть переданы в первый вызов ячейки (необязательный, по умолчанию None , что приводит к созданию заполненных нулями начальных тензоров состояния).

Методы

get_dropout_mask_for_cell

Просмотр исходного кода

get_dropout_mask_for_cell(
    inputs, training, count=1
)

Получить маску дропаута для входных данных ячейки RNN.

Создаст маску на основе контекста, если кэшированная маска отсутствует. Если создаётся новая маска, она будет обновлена в ячейке.

get_initial_state

Просмотр исходного кода

get_initial_state(
    inputs
)

get_recurrent_dropout_mask_for_cell

Просмотр исходного кода

get_recurrent_dropout_mask_for_cell(
    inputs, training, count=1
)

Получить маску рекуррентного дропаута для ячейки RNN.

Создаст маску на основе контекста, если кэшированная маска отсутствует. Если создаётся новая маска, она будет обновлена в ячейке.

reset_dropout_mask

Просмотр исходного кода

reset_dropout_mask()

Сбросить кэшированные маски дропаута, если они есть.

Это важно для слоя RNN, чтобы вызвать это в методе call(), чтобы очистить кэшированную маску перед вызовом cell.call(). Маска должна кэшироваться на временном шаге в пределах одной партии, но не должна кэшироваться между партиями. В противном случае это приведёт к необоснованному смещению по отношению к определённому индексу данных в партии.

reset_recurrent_dropout_mask

Просмотр исходного кода

reset_recurrent_dropout_mask()

Сбросить кэшированные маски рекуррентного дропаута, если они есть.

Это важно для того, чтобы слой RNN вызывал это в методе call(), чтобы кэшированная маска очищалась перед вызовом метода cell.call(). Маска должна кэшироваться на временном шаге в рамках одной партии, но не должна кэшироваться между партиями. В противном случае это введет необоснованный bias против определенного индекса данных в рамках партии.

reset_states

Просмотреть исходный код

reset_states(
    states=None
)