tf.keras.layers.RNN

Базовый класс для рекуррентных слоёв.

Наследуется от: Layer, Module

tf.keras.layers.RNN(
    cell,
    return_sequences=False,
    return_state=False,
    go_backwards=False,
    stateful=False,
    unroll=False,
    time_major=False,
    **kwargs
)

См. Руководство по API рекуррентных сетей Keras для получения подробных сведений об использовании API рекуррентных сетей.

Аргументы вызова:

• inputs: Входной тензор.
• mask: Бинарный тензор формы [batch_size, timesteps] , указывающий, следует ли маскировать определённый временной шаг. Отдельная запись True указывает, что соответствующий временной шаг должен быть использован, а False указывает, что соответствующий временной шаг следует игнорировать.
• training: Булево значение, указывающее, должен ли слой работать в режиме обучения или в режиме вывода. Этот аргумент передаётся в ячейку при её вызове. Это используется для ячеек, использующих функцию dropout.
• initial_state: Список тензоров начального состояния, которые должны быть переданы в первую функцию вызова ячейки.
• constants: Список константных тензоров, которые должны быть переданы ячейке на каждом временном шаге.

Форма входных данных:

N-мерный тензор с формой [batch_size, timesteps, ...] или [timesteps, batch_size, ...] при time_major = True.

Форма выходных данных:

• Если return_state: список тензоров. Первый тензор — это выход. Остальные тензоры — последние состояния, каждое с формой [batch_size, state_size], где state_size может быть многомерной формой тензора.
• Если return_sequences: N-мерный тензор с формой [batch_size, timesteps, output_size], где output_size может быть многомерной формой тензора, или [timesteps, batch_size, output_size] при time_major равно True.
• В противном случае N-мерный тензор с формой [batch_size, output_size], где output_size может быть многомерной формой тензора.

Маскирование:

Этот слой поддерживает маскирование входных данных с переменным количеством временных шагов. Для введения масок в ваши данные используйте слой [tf.keras.layers.Embedding] с параметром mask_zero установленным в значение True.

Примечание об использовании состояния в RNN: Вы можете установить слои RNN в 'состоятельный' режим, что означает, что состояния, вычисленные для образцов в одном пакете, будут повторно использоваться в качестве начальных состояний для образцов в следующем пакете. Это предполагает взаимно однозначное соответствие между образцами в различных последовательных пакетах.

Для включения состоятельности:

- Specify `stateful=True` in the layer constructor.
- Specify a fixed batch size for your model, by passing
  If sequential model:
    `batch_input_shape=(...)` to the first layer in your model.
  Else for functional model with 1 or more Input layers:
    `batch_shape=(...)` to all the first layers in your model.
  This is the expected shape of your inputs
  *including the batch size*.
  It should be a tuple of integers, e.g. `(32, 10, 100)`.
- Specify `shuffle=False` when calling `fit()`.

Для сброса состояний вашей модели вызовите .reset_states() на конкретном слое или на всей модели.

Примечание о задании начального состояния RNN: Вы можете задать начальное состояние слоёв RNN символически, вызвав их с ключевым аргументом initial_state. Значение initial_state должно быть тензором или списком тензоров, представляющих начальное состояние слоя RNN.

Вы можете задать начальное состояние слоёв RNN численно, вызвав reset_states с ключевым аргументом states. Значение states должно быть массивом NumPy или списком массивов NumPy, представляющих начальное состояние слоя RNN.

Примечание о передаче внешних констант в RNN: Вы можете передавать «внешние» константы в ячейку с помощью ключевого аргумента constants метода RNN.__call__ (а также метода RNN.call). Это требует, чтобы метод cell.call принимал тот же ключевой аргумент constants. Такие константы могут использоваться для условного преобразования ячейки на основе дополнительных статических входных данных (не изменяющихся со временем), т.е. механизма внимания.

Примеры:

# First, let's define a RNN Cell, as a layer subclass.

class MinimalRNNCell(keras.layers.Layer):

    def __init__(self, units, **kwargs):
        self.units = units
        self.state_size = units
        super(MinimalRNNCell, self).__init__(**kwargs)

    def build(self, input_shape):
        self.kernel = self.add_weight(shape=(input_shape[-1], self.units),
                                      initializer='uniform',
                                      name='kernel')
        self.recurrent_kernel = self.add_weight(
            shape=(self.units, self.units),
            initializer='uniform',
            name='recurrent_kernel')
        self.built = True

    def call(self, inputs, states):
        prev_output = states[0]
        h = backend.dot(inputs, self.kernel)
        output = h + backend.dot(prev_output, self.recurrent_kernel)
        return output, [output]

# Let's use this cell in a RNN layer:

cell = MinimalRNNCell(32)
x = keras.Input((None, 5))
layer = RNN(cell)
y = layer(x)

# Here's how to use the cell to build a stacked RNN:

cells = [MinimalRNNCell(32), MinimalRNNCell(64)]
x = keras.Input((None, 5))
layer = RNN(cells)
y = layer(x)

Методы

reset_states

Просмотреть исходный код

reset_states(
    states=None
)

Сбросить записанные состояния для состоятельного слоя RNN.

Может быть использован только тогда, когда слой RNN был создан с stateful = True. Args: states: Массивы NumPy, содержащие значения для начального состояния, которые будут переданы в ячейку на первом временном шаге. Если значение равно None, будет создан массив NumPy, заполненный нулями, на основе размера состояния ячейки.