tf.keras.layers.RNN

Базовый класс для рекуррентных слоёв.

Наследуется от: Layer, Module

tf.keras.layers.RNN(
    cell, return_sequences=False, return_state=False, go_backwards=False,
    stateful=False, unroll=False, time_major=False, **kwargs
)

См. руководство Keras RNN API для получения подробной информации об использовании API RNN.

Аргументы вызова:

• inputs: Входной тензор.
• mask: Двоичный тензор формы [batch_size, timesteps], указывающий, должен ли быть замаскирован данный временной шаг.
• training: Булевое значение Python, указывающее, должен ли слой работать в режиме обучения или в режиме вывода. Этот аргумент передаётся ячейке при её вызове. Это используется для ячеек, использующих дропаут.
• initial_state: Список тензоров начального состояния, которые передаются в первый вызов ячейки.
• constants: Список константных тензоров, которые передаются в ячейку на каждом временном шаге.

Форма входа:

N-мерный тензор с формой [batch_size, timesteps, ...] или [timesteps, batch_size, ...] когда time_major True.

Форма вывода:

• Если return_state: список тензоров. Первый тензор — вывод. Остальные тензоры — последние состояния, каждое с формой [batch_size, state_size], где state_size может быть тензором высокой размерности.
• Если return_sequences: N-мерный тензор с формой [batch_size, timesteps, output_size], где output_size может быть тензором высокой размерности, или [timesteps, batch_size, output_size] когда time_major True.
• В противном случае N-мерный тензор с формой [batch_size, output_size], где output_size может быть тензором высокой размерности.

Маскирование:

Этот слой поддерживает маскирование для входных данных с переменным числом временных шагов. Для введения масок в данные используйте слой [tf.keras.layers.Embedding] с параметром mask_zero, установленным в True.

Примечание об использовании состоятельности в RNN: Вы можете установить слои RNN в «состоятельное» состояние, что означает, что состояния, вычисленные для образцов в одной партии, будут повторно использоваться в качестве начальных состояний для образцов в следующей партии. Это предполагает взаимно-однозначное соответствие между образцами в разных последовательных партиях.

Для включения состоятельности:

- Specify `stateful=True` in the layer constructor.
- Specify a fixed batch size for your model, by passing
  If sequential model:
    `batch_input_shape=(...)` to the first layer in your model.
  Else for functional model with 1 or more Input layers:
    `batch_shape=(...)` to all the first layers in your model.
  This is the expected shape of your inputs
  *including the batch size*.
  It should be a tuple of integers, e.g. `(32, 10, 100)`.
- Specify `shuffle=False` when calling `fit()`.

Для сброса состояний вашей модели вызовите .reset_states() на определённом слое или на всей вашей модели.

Примечание о задании начального состояния RNN: Вы можете задать начальное состояние слоёв RNN символически, вызвав их с ключевым аргументом initial_state. Значение initial_state должно быть тензором или списком тензоров, представляющих начальное состояние слоя RNN.

Вы можете задать начальное состояние слоёв RNN численно, вызвав reset_states с ключевым аргументом states. Значение states должно быть массивом NumPy или списком массивов NumPy, представляющих начальное состояние слоя RNN.

Примечание о передаче внешних констант в RNN: Вы можете передавать «внешние» константы в ячейку, используя ключевой аргумент constants метода RNN.call (а также RNN.call). Для этого требуется, чтобы метод cell.call принимал тот же ключевой аргумент constants. Такие константы могут использоваться для условного преобразования ячейки на дополнительных статических входных данных (не изменяющихся со временем), что также называется механизмом внимания.

Примеры:

# First, let's define a RNN Cell, as a layer subclass.

class MinimalRNNCell(keras.layers.Layer):

    def __init__(self, units, **kwargs):
        self.units = units
        self.state_size = units
        super(MinimalRNNCell, self).__init__(**kwargs)

    def build(self, input_shape):
        self.kernel = self.add_weight(shape=(input_shape[-1], self.units),
                                      initializer='uniform',
                                      name='kernel')
        self.recurrent_kernel = self.add_weight(
            shape=(self.units, self.units),
            initializer='uniform',
            name='recurrent_kernel')
        self.built = True

    def call(self, inputs, states):
        prev_output = states[0]
        h = K.dot(inputs, self.kernel)
        output = h + K.dot(prev_output, self.recurrent_kernel)
        return output, [output]

# Let's use this cell in a RNN layer:

cell = MinimalRNNCell(32)
x = keras.Input((None, 5))
layer = RNN(cell)
y = layer(x)

# Here's how to use the cell to build a stacked RNN:

cells = [MinimalRNNCell(32), MinimalRNNCell(64)]
x = keras.Input((None, 5))
layer = RNN(cells)
y = layer(x)

Методы

reset_states

Просмотреть исходный код

reset_states(
    states=None
)

Сбросить записанные состояния для состоятельного слоя RNN.

Может использоваться только когда слой RNN создан с stateful = True . Аргументы: states: Массивы NumPy, содержащие значения начального состояния, которые будут переданы ячейке в первый временной шаг. При значении None будет создан массив NumPy, заполненный нулями, на основе размера состояния ячейки.