tf.keras.layers.GRU
| Просмотреть исходный код на GitHub |
Ячейка с управляемым рекуррентным блоком — Cho и др. 2014.
Наследуется от: RNN
tf.keras.layers.GRU(
units, activation='tanh', recurrent_activation='hard_sigmoid', use_bias=True,
kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal',
bias_initializer='zeros', kernel_regularizer=None, recurrent_regularizer=None,
bias_regularizer=None, activity_regularizer=None, kernel_constraint=None,
recurrent_constraint=None, bias_constraint=None, dropout=0.0,
recurrent_dropout=0.0, implementation=1, return_sequences=False,
return_state=False, go_backwards=False, stateful=False, unroll=False,
reset_after=False, **kwargs
)
Существует две разновидности. По умолчанию используется вариант, основанный на 1406.1078v3, в котором вентиль сброса применяется к скрытому состоянию перед умножением матриц. Другой вариант основан на оригинальном 1406.1078v1 и имеет обратный порядок.
Второй вариант совместим с CuDNNGRU (только для графических процессоров) и позволяет выполнять вычисления на центральном процессоре. Поэтому он имеет отдельные смещения для kernel и recurrent_kernel. Используйте 'reset_after'=True и recurrent_activation='sigmoid'.
| Аргументы | |
|---|---|
units | Положительное целое число, размерность выходного пространства. |
activation | Функция активации для использования. По умолчанию: гиперболический тангенс (tanh). Если вы передадите None, функция активации не применяется (т. е. используется линейная активация: a(x) = x). |
recurrent_activation | Функция активации для использования на рекуррентном шаге. По умолчанию: жёсткий сигмоид (hard_sigmoid). Если вы передадите None, функция активации не применяется (т. е. используется линейная активация: a(x) = x). |
use_bias | Булево значение, использует ли слой вектор смещений. |
kernel_initializer | Инициализатор матрицы весов kernel, используемой для линейного преобразования входов. |
recurrent_initializer | Инициализатор матрицы весов recurrent_kernel, используемой для линейного преобразования рекуррентного состояния. |
bias_initializer | Инициализатор вектора смещений. |
kernel_regularizer | Функция регуляризации, применяемая к матрице весов kernel. |
recurrent_regularizer | Функция регуляризации, применяемая к матрице весов recurrent_kernel. |
bias_regularizer | Функция регуляризации, применяемая к вектору смещений. |
activity_regularizer | Функция регуляризации, применяемая к выводу слоя (его "активации"). |
kernel_constraint | Функция ограничения, применяемая к матрице весов kernel. |
recurrent_constraint | Функция ограничения, применяемая к матрице весов recurrent_kernel. |
bias_constraint | Функция ограничения, применяемая к вектору смещений. |
dropout | Вещественное число от 0 до 1. Доля единиц, которые необходимо отбросить для линейного преобразования входов. |
recurrent_dropout | Вещественное число от 0 до 1. Доля единиц, которые необходимо отбросить для линейного преобразования рекуррентного состояния. |
implementation | Режим реализации, либо 1, либо 2. Режим 1 будет структурировать операции как большее количество меньших операций умножения матриц и сложения, тогда как режим 2 будет группировать их в меньшее количество больших операций. Эти режимы будут иметь разные характеристики производительности на различных аппаратных средствах и для различных приложений. |
return_sequences | Булево значение. Возвращает ли слой только последний выходной элемент последовательности или полную последовательность. |
return_state | Булево значение. Возвращает ли слой последнее состояние в дополнение к выводу. |
go_backwards | Булево значение (по умолчанию False). Если True, обрабатывать последовательность входов в обратном порядке и возвращать обратную последовательность. |
stateful | Булево значение (по умолчанию False). Если True, последнее состояние для каждого образца в индексе i в пакете будет использоваться в качестве начального состояния для образца с индексом i в следующем пакете. |
unroll | Булево значение (по умолчанию False). Если True, сеть будет развернута, в противном случае будет использоваться символический цикл. Развертывание может ускорить RNN, хотя обычно это более ресурсоёмко. Развертывание подходит только для коротких последовательностей. |
time_major | Формат формы тензоров inputs и outputs. Если True, входы и выходы будут иметь форму (timesteps, batch, ...), в случае False — (batch, timesteps, ...). Использование time_major = True немного эффективнее, так как оно позволяет избежать транспонирования в начале и в конце вычислений RNN. Однако большинство данных TensorFlow имеют порядок «пакет-сначала», поэтому по умолчанию эта функция принимает входной данные и возвращает выходные данные в формате «пакет-сначала». |
reset_after | Конвенция GRU (применять вентиль сброса после или до умножения матриц). False = "до" (по умолчанию), True = "после" (совместимость с CuDNN). |
Аргументы вызова:
-
inputs: Тензор размерностью 3. -
mask: Двоичный тензор формы(samples, timesteps)указывающий, следует ли игнорировать данный временной шаг. -
training: Булевое значение, указывающее, должен ли слой работать в режиме обучения или в режиме вывода. Этот аргумент передаётся ячейке при её вызове. Это актуально только в том случае, если используетсяdropoutилиrecurrent_dropout. -
initial_state: Список начальных тензоров состояния, которые следует передать на первый вызов ячейки.
| Атрибуты | |
|---|---|
activation | |
bias_constraint | |
bias_initializer | |
bias_regularizer | |
dropout | |
implementation | |
kernel_constraint | |
kernel_initializer | |
kernel_regularizer | |
recurrent_activation | |
recurrent_constraint | |
recurrent_dropout | |
recurrent_initializer | |
recurrent_regularizer | |
reset_after | |
states | |
units | |
use_bias | |
Методы
get_initial_state
get_initial_state(
inputs
)
reset_states
reset_states(
states=None
)
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/keras/layers/GRU