LSTMCell

class torch.nn.modules.rnn.LSTMCell(input_size, hidden_size, bias=True, device=None, dtype=None) [исходный код]

Ячейка долгой краткосрочной памяти (LSTM).

$$\begin{array}{ll} i = \sigma(W_{ii} x + b_{ii} + W_{hi} h + b_{hi}) \\ f = \sigma(W_{if} x + b_{if} + W_{hf} h + b_{hf}) \\ g = \tanh(W_{ig} x + b_{ig} + W_{hg} h + b_{hg}) \\ o = \sigma(W_{io} x + b_{io} + W_{ho} h + b_{ho}) \\ c' = f \odot c + i \odot g \\ h' = o \odot \tanh(c') \\ \end{array}$$

где $\sigma$ — сигмоидная функция, а $\odot$ — произведение Адамара.

Параметры:

• input_size (int) – Количество ожидаемых признаков на входе x
• hidden_size (int) – Количество признаков в скрытом состоянии h
• bias (bool) – Если False, слой не использует смещения b_ih и b_hh. Значение по умолчанию: True

Входные данные: input, (h_0, c_0)

• input формы (batch, input_size) или (input_size): тензор, содержащий входные признаки
• h_0 формы (batch, hidden_size) или (hidden_size): тензор, содержащий начальное скрытое состояние

• c_0 формы (batch, hidden_size) или (hidden_size): тензор, содержащий начальное состояние ячейки

  Если (h_0, c_0) не указано, значения h_0 и c_0 по умолчанию равны нулю.

Выходные данные: (h_1, c_1)

• h_1 формы (batch, hidden_size) или (hidden_size): тензор, содержащий следующее скрытое состояние
• c_1 формы (batch, hidden_size) или (hidden_size): тензор, содержащий следующее состояние ячейки

Переменные:

• weight_ih (torch.Tensor) – обучаемые веса между входом и скрытым состоянием, формы (4*hidden_size, input_size)
• weight_hh (torch.Tensor) – обучаемые веса между скрытым состоянием и скрытым состоянием, формы (4*hidden_size, hidden_size)
• bias_ih – обучаемое смещение между входом и скрытым состоянием, формы (4*hidden_size)
• bias_hh – обучаемое смещение между скрытым состоянием и скрытым состоянием, формы (4*hidden_size)

Примечание

Все веса и смещения инициализируются из $\mathcal{U}(-\sqrt{k}, \sqrt{k})$, где $k = \frac{1}{\text{hidden\_size}}$

На некоторых устройствах ROCm при использовании входных данных float16 этот модуль использует другую точность при обратном проходе.

Примеры:

>>> rnn = nn.LSTMCell(10, 20)  # (input_size, hidden_size)
>>> input = torch.randn(2, 3, 10)  # (time_steps, batch, input_size)
>>> hx = torch.randn(3, 20)  # (batch, hidden_size)
>>> cx = torch.randn(3, 20)
>>> output = []
>>> for i in range(input.size()[0]):
...     hx, cx = rnn(input[i], (hx, cx))
...     output.append(hx)
>>> output = torch.stack(output, dim=0)