tf.contrib.rnn.IntersectionRNNCell

Ячейка рекуррентной нейронной сети пересечения (+RNN).

Наследуется от: RNNCell

tf.contrib.rnn.IntersectionRNNCell(
    num_units, num_in_proj=None, initializer=None, forget_bias=1.0,
    y_activation=tf.nn.relu, reuse=None
)

Архитектура с сопряжённым рекуррентным и сопряжённым глубиной вентилями, разработанная для улучшения потока информации через стопки RNN. Поскольку архитектура использует глубинный вентиль, размерность выходных данных глубины (y) также не должна меняться по глубине (размер входных данных == размер выходных данных). Для достижения этого, первый слой стопки Intersection RNN проецирует входные данные в N (количество единиц) измерений. Поэтому при инициализации IntersectionRNNCell необходимо задать num_in_proj = N для первого слоя и использовать значения по умолчанию для последующих слоёв.

Эта реализация рекуррентной ячейки из статьи:

https://arxiv.org/abs/1611.09913

Jasmine Collins, Jascha Sohl-Dickstein, и David Sussillo. "Объём и обучаемость в рекуррентных нейронных сетях" Proc. ICLR 2017.

Intersection RNN предназначена для использования в глубоких стопках RNN, поэтому она может не достичь наилучшей производительности с глубиной 1.

Методы

get_initial_state

Просмотреть исходный код

get_initial_state(
    inputs=None, batch_size=None, dtype=None
)

zero_state

Просмотреть исходный код

zero_state(
    batch_size, dtype
)

Возвращает тензор(ы) состояния, заполненный нулями.