tf.keras.experimental.PeepholeLSTMCell

Эквивалентно классу LSTMCell, но добавляет петельчатые соединения.

Наследуется от: LSTMCell

tf.keras.experimental.PeepholeLSTMCell(
    units, activation='tanh', recurrent_activation='hard_sigmoid', use_bias=True,
    kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal',
    bias_initializer='zeros', unit_forget_bias=True, kernel_regularizer=None,
    recurrent_regularizer=None, bias_regularizer=None, kernel_constraint=None,
    recurrent_constraint=None, bias_constraint=None, dropout=0.0,
    recurrent_dropout=0.0, implementation=1, **kwargs
)

Петельчатые соединения позволяют воротам использовать предыдущее внутреннее состояние, а также предыдущее скрытое состояние (к чему ограничивается LSTMCell). Это позволяет PeepholeLSTMCell лучше усваивать точные временные интервалы по сравнению с LSTMCell.

Из Gers и др.:

"Мы обнаружили, что LSTM, дополненный «петельчатыми соединениями» от его внутренних ячеек к его мультипликативным воротам, может научиться тонкому различию между последовательностями импульсов, отстоящих друг от друга на 50 или 49 временных шагов, без помощи каких-либо коротких примеров для обучения."

Реализация петельчатых соединений основана на:

Архитектуры рекуррентных нейронных сетей с долговременной краткосрочной памятью для масштабируемых акустических моделей.

Пример:

# Create 2 PeepholeLSTMCells
peephole_lstm_cells = [PeepholeLSTMCell(size) for size in [128, 256]]
# Create a layer composed sequentially of the peephole LSTM cells.
layer = RNN(peephole_lstm_cells)
input = keras.Input((timesteps, input_dim))
output = layer(input)

Методы

get_dropout_mask_for_cell

Просмотреть исходный код

get_dropout_mask_for_cell(
    inputs, training, count=1
)

Получить маску дропаута для входного значения ячейки RNN.

Она создаст маску на основе контекста, если нет какой-либо кэшированной маски. Если новая маска сгенерирована, она обновит кэш в ячейке.

get_initial_state

Просмотреть исходный код

get_initial_state(
    inputs=None, batch_size=None, dtype=None
)

get_recurrent_dropout_mask_for_cell

Просмотреть исходный код

get_recurrent_dropout_mask_for_cell(
    inputs, training, count=1
)

Получить маску рекуррентного дропаута для ячейки RNN.

Она создаст маску на основе контекста, если нет какой-либо кэшированной маски. Если новая маска сгенерирована, она обновит кэш в ячейке.

reset_dropout_mask

Просмотреть исходный код

reset_dropout_mask()

Сбросить кэшированные маски дропаута, если таковые имеются.

Это важно, чтобы слой RNN вызывал эту функцию в своём методе call(), чтобы кэшированная маска очищалась перед вызовом метода cell.call(). Маска должна кэшироваться на протяжении временного шага в пределах одной партии, но не должна кэшироваться между партиями. В противном случае это приведёт к необоснованному смещению против определённого индекса данных в партии.

reset_recurrent_dropout_mask

Просмотреть исходный код

reset_recurrent_dropout_mask()

Сбросить кэшированные маски рекуррентного дропаута, если таковые имеются.

Это важно, чтобы слой RNN вызывал эту функцию в своём методе call(), чтобы кэшированная маска очищалась перед вызовом метода cell.call(). Маска должна кэшироваться на протяжении временного шага в пределах одной партии, но не должна кэшироваться между партиями. В противном случае это приведёт к необоснованному смещению против определённого индекса данных в партии.