tf.keras.layers.LSTM

Слой долговременной краткосрочной памяти (LSTM) — Hochreiter 1997.

Наследует от: LSTM, RNN, Layer, Module

tf.keras.layers.LSTM(
    units, activation='tanh', recurrent_activation='sigmoid',
    use_bias=True, kernel_initializer='glorot_uniform',
    recurrent_initializer='orthogonal',
    bias_initializer='zeros', unit_forget_bias=True,
    kernel_regularizer=None, recurrent_regularizer=None, bias_regularizer=None,
    activity_regularizer=None, kernel_constraint=None, recurrent_constraint=None,
    bias_constraint=None, dropout=0.0, recurrent_dropout=0.0,
    return_sequences=False, return_state=False, go_backwards=False, stateful=False,
    time_major=False, unroll=False, **kwargs
)

См. руководство по API Keras RNN для получения подробной информации о использовании API RNN.

В зависимости от доступного оборудования и ограничений выполнения этот слой выберет различные реализации (на основе cuDNN или чисто TensorFlow), чтобы максимизировать производительность. Если доступен графический процессор и все аргументы слоя соответствуют требованиям ядра CuDNN (см. подробности ниже), слой будет использовать быструю реализацию cuDNN.

Требования к использованию реализации cuDNN:

1. activation == tanh
2. recurrent_activation == sigmoid
3. recurrent_dropout == 0
4. unroll равно False
5. use_bias равно True
6. Входные данные, если используется маскирование, строго заполняются справа.
7. Внешний контекст включает выполнение в режиме eager.

Например:

inputs = tf.random.normal([32, 10, 8])
lstm = tf.keras.layers.LSTM(4)
output = lstm(inputs)
print(output.shape)
(32, 4)
lstm = tf.keras.layers.LSTM(4, return_sequences=True, return_state=True)
whole_seq_output, final_memory_state, final_carry_state = lstm(inputs)
print(whole_seq_output.shape)
(32, 10, 4)
print(final_memory_state.shape)
(32, 4)
print(final_carry_state.shape)
(32, 4)

Аргументы вызова:

• inputs: Тензор 3D с формой [batch, timesteps, feature].
• mask: Двоичный тензор с формой [batch, timesteps] , указывающий, следует ли маскировать данный временной шаг (необязательно, по умолчанию None).
• training: Логическое значение Python, указывающее, должен ли слой вести себя в режиме обучения или в режиме вывода. Этот аргумент передается ячейке при вызове. Это актуально только в том случае, если используется dropout или recurrent_dropout (необязательно, по умолчанию None).
• initial_state: Список тензоров начальных состояний, которые будут переданы в первый вызов ячейки (необязательно, по умолчанию None, что приводит к созданию тензоров начального состояния, заполненных нулями).

Методы

get_dropout_mask_for_cell

Просмотреть исходный код

get_dropout_mask_for_cell(
    inputs, training, count=1
)

Получить маску выпадения для входных данных ячейки RNN.

Создаст маску на основе контекста, если нет кэшированной маски. Если создается новая маска, она будет обновлять кэш в ячейке.

get_recurrent_dropout_mask_for_cell

Просмотреть исходный код

get_recurrent_dropout_mask_for_cell(
    inputs, training, count=1
)

Получить маску рекуррентного выпадения для ячейки RNN.

Создаст маску на основе контекста, если нет кэшированной маски. Если создается новая маска, она будет обновлять кэш в ячейке.

reset_dropout_mask

Просмотреть исходный код

reset_dropout_mask()

Сбросить кэшированные маски выпадения, если они есть.

Это важно для слоя RNN, чтобы вызывать этот метод в нём call(), чтобы кэшированная маска очищалась перед вызовом cell.call(). Маска должна кэшироваться на временном шаге в рамках одной и той же партии, но не должна кэшироваться между партиями. В противном случае это приведёт к необоснованному смещению против определённого индекса данных в пределах партии.

reset_recurrent_dropout_mask

Просмотреть исходный код

reset_recurrent_dropout_mask()

Сбросить кэшированные маски рекуррентного дропаута, если таковые имеются.

Это важно для слоя RNN, чтобы вызывать этот метод в нём в методе call(), чтобы кэшированная маска очищалась перед вызовом cell.call(). Маска должна кэшироваться на временном шаге в пределах одной и той же партии, но не должна кэшироваться между партиями. В противном случае это приведёт к необоснованному смещению против определённого индекса данных в пределах партии.

reset_states

Просмотреть исходный код

reset_states(
    states=None
)

Сбросить записанные состояния для состоятельного слоя RNN.

Может использоваться только в том случае, когда слой RNN был создан с stateful = True. Аргументы: states: массивы NumPy, содержащие значения для начального состояния, которые будут переданы ячейке на первом временном шаге. Если значение равно None, будет создан массив NumPy с нулевыми значениями, основанный на размере состояния ячейки.