tf.contrib.rnn.CoupledInputForgetGateLSTMCell

Ячейка рекуррентной нейронной сети с долговременной и кратковременной памятью (LSTM).

Наследуется от: RNNCell

tf.contrib.rnn.CoupledInputForgetGateLSTMCell(
    num_units, use_peepholes=False, initializer=None, num_proj=None, proj_clip=None,
    num_unit_shards=1, num_proj_shards=1, forget_bias=1.0, state_is_tuple=True,
    activation=tf.math.tanh, reuse=None, layer_norm=False, norm_gain=1.0,
    norm_shift=0.0
)

По умолчанию реализация без обратных связей основана на:

https://pdfs.semanticscholar.org/1154/0131eae85b2e11d53df7f1360eeb6476e7f4.pdf

Felix Gers, Jurgen Schmidhuber и Fred Cummins. "Learning to forget: Continual prediction with LSTM." IET, 850-855, 1999.

Реализация с обратными связями основана на:

https://research.google.com/pubs/archive/43905.pdf

Hasim Sak, Andrew Senior и Francoise Beaufays. "Long short-term memory recurrent neural network architectures for large scale acoustic modeling." INTERSPEECH, 2014.

Связывание входных и забывающих ворот основано на:

http://arxiv.org/pdf/1503.04069.pdf

Greff и др. "LSTM: A Search Space Odyssey"

Класс использует необязательные обратные связи и необязательный проекционный слой. Реализация нормализации слоя основана на:

https://arxiv.org/abs/1607.06450

"Layer Normalization" Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton

и применяется до внутренних нелинейностей.

Аргументы
`num_units`	int, Количество единиц в ячейке LSTM
`use_peepholes`	bool, Установить True для включения диагональных/обратных связей.
`initializer`	(необязательно) Инициализатор для весовых и проекционных матриц.
`num_proj`	(необязательно) int, Размерность вывода для проекционных матриц. Если None, проекция не выполняется.
`proj_clip`	(необязательно) Значение с плавающей точкой. Если `num_proj > 0` и `proj_clip` заданы, то спроецированные значения усекаются по элементам до `[-proj_clip, proj_clip]`.
`num_unit_shards`	Способ разделения весовой матрицы. Если >1, весовая матрица хранится по частям num_unit_shards.
`num_proj_shards`	Способ разделения проекционной матрицы. Если >1, проекционная матрица хранится по частям num_proj_shards.
`forget_bias`	Смещения забывающего ворота по умолчанию инициализируются значением 1, чтобы уменьшить масштаб забывания в начале обучения.
`state_is_tuple`	Если True, принятые и возвращаемые состояния являются кортежами из двух элементов `c_state` и `m_state`. По умолчанию (False) они конкатенируются по оси столбцов. Это поведение по умолчанию скоро будет устаревшим.
`activation`	Функция активации внутренних состояний.
`reuse`	(необязательно) Булевое значение Python, описывающее, нужно ли повторно использовать переменные в существующем объёме. Если нет `True`, и существующий объём уже содержит заданные переменные, возникает ошибка.
`layer_norm`	Если `True`, будет применена нормализация слоя.
`norm_gain`	float, Начальное значение увеличения нормализации слоя. Если `layer_norm` было установлено в `False`, этот аргумент будет проигнорирован.
`norm_shift`	float, Начальное значение смещения нормализации слоя. Если `layer_norm` было установлено в `False`, этот аргумент будет проигнорирован.

Атрибуты
`graph`	УСТАРЕВШАЯ ФУНКЦИЯ Предупреждение: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущей версии. Инструкции по обновлению: прекратите использование этого свойства, так как слои tf.layers больше не отслеживают свою графику.
`output_size`	Целое число или TensorShape: размер выводов, производимых этой ячейкой.
`scope_name`
`state_size`	Размер(ы) состояния(ий), используемых этой ячейкой. Он может быть представлен целым числом, TensorShape или кортежем целых чисел или TensorShapes.

Методы

`get_initial_state`

Просмотреть исходный код

get_initial_state(
    inputs=None, batch_size=None, dtype=None
)

`zero_state`

Просмотреть исходный код

zero_state(
    batch_size, dtype
)

Возвращает тензор(ы) состояния с нулевыми значениями.

Аргументы
`batch_size`	int, float или тензор единицы, представляющий размер пакета.
`dtype`	тип данных для использования в состоянии.

Возвращаемые значения

Возвращаемые значения
Если `state_size` - целое число или TensorShape, то возвращаемое значение - тензор `N-D` размера `[batch_size, state_size]` заполненный нулями. Если `state_size` - вложенный список или кортеж, то возвращаемое значение - вложенный список или кортеж (той же структуры) тензоров `2-D` с размерами `[batch_size, s]` для каждого s в `state_size`.

Если state_size - целое число или TensorShape, то возвращаемое значение - тензор N-D размера [batch_size, state_size] заполненный нулями.

Если state_size - вложенный список или кортеж, то возвращаемое значение - вложенный список или кортеж (той же структуры) тензоров 2-D с размерами [batch_size, s] для каждого s в state_size.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/contrib/rnn/CoupledInputForgetGateLSTMCell