tf.keras.experimental.PeepholeLSTMCell

Эквивалентен классу LSTMCell, но добавляет соединения peephole.

Наследует от: LSTMCell, Layer, Module

tf.keras.experimental.PeepholeLSTMCell(
    units, activation='tanh',
    recurrent_activation='hard_sigmoid', use_bias=True,
    kernel_initializer='glorot_uniform',
    recurrent_initializer='orthogonal',
    bias_initializer='zeros', unit_forget_bias=True,
    kernel_regularizer=None, recurrent_regularizer=None, bias_regularizer=None,
    kernel_constraint=None, recurrent_constraint=None, bias_constraint=None,
    dropout=0.0, recurrent_dropout=0.0, **kwargs
)

Соединения peephole позволяют шлюзам использовать предыдущее внутреннее состояние, а также предыдущее скрытое состояние (к чему ограничивается LSTMCell). Это позволяет PeepholeLSTMCell лучше изучать точные временные интервалы по сравнению с LSTMCell.

Из Gers et al., 2002:

"Мы обнаружили, что LSTM, дополненные «соединениями peephole» от его внутренних ячеек до его мультипликативных ворот, могут изучить тонкое различие между последовательностями импульсов, разнесенными на 50 или 49 временных шагов, без помощи каких-либо коротких примеров обучения."

Реализация peephole основана на:

Sak et al., 2014

Пример:

# Create 2 PeepholeLSTMCells
peephole_lstm_cells = [PeepholeLSTMCell(size) for size in [128, 256]]
# Create a layer composed sequentially of the peephole LSTM cells.
layer = RNN(peephole_lstm_cells)
input = keras.Input((timesteps, input_dim))
output = layer(input)

Методы

get_dropout_mask_for_cell

Просмотреть исходный код

get_dropout_mask_for_cell(
    inputs, training, count=1
)

Получить маску выпадения для входных данных ячейки RNN.

Если кэшированная маска не существует, создаст маску на основе контекста. Если новая маска сгенерирована, она обновит кэш в ячейке.

get_initial_state

Просмотреть исходный код

get_initial_state(
    inputs=None, batch_size=None, dtype=None
)

get_recurrent_dropout_mask_for_cell

Просмотреть исходный код

get_recurrent_dropout_mask_for_cell(
    inputs, training, count=1
)

Получить маску рекуррентного выпадения для ячейки RNN.

Если кэшированная маска не существует, создаст маску на основе контекста. Если новая маска сгенерирована, она обновит кэш в ячейке.

reset_dropout_mask

Просмотреть исходный код

reset_dropout_mask()

Сбросить кэшированные маски выпадения, если таковые имеются.

Это важно для слоя RNN, чтобы вызвать это в методе call(), чтобы кэшированная маска была очищена перед вызовом cell.call(). Маска должна быть кэширована в течение временного шага в рамках одной партии, но не должна быть кэширована между партиями. В противном случае это введет необоснованный перекос в пользу определенного индекса данных в партии.

reset_recurrent_dropout_mask

Просмотреть исходный код

reset_recurrent_dropout_mask()

Сбросить кэшированные маски рекуррентного выпадения, если таковые имеются.

Это важно для слоя RNN, чтобы вызвать это в методе call(), чтобы кэшированная маска была очищена перед вызовом cell.call(). Маска должна быть кэширована в течение временного шага в рамках одной партии, но не должна быть кэширована между партиями. В противном случае это введет необоснованный перекос в пользу определенного индекса данных в партии.