Una LSTM también lee la ventana un mes a la vez y también recibe su salida anterior, ht−1, pero lleva además una memoria, ct, que pasa de un paso al otro por un camino propio. Tres compuertas deciden en cada paso qué pasa con esa memoria. Cada una es una sigmoide de xt y ht−1, un número entre 0 y 1:
ft, de olvido: qué fracción de ct−1 se conserva.it, de entrada: qué fracción del candidato gt = tanh(w xt + u ht−1 + b) se escribe. gt es la misma cuenta de la RNN.ot, de salida: qué fracción de la memoria sale como ht.Con ellas, ct = ft ct−1 + it gt y ht = ot tanh(ct). Esta página hace las cuentas de una celda de una neurona sobre la misma ventana de enero de 2025 de La RNN paso a paso. Cada compuerta suma 0,5 xt + 0,5 ht−1 más su sesgo, y gt usa w = 0,5, u = 0,8 y b = 0,1. Son pesos elegidos para la cuenta, no entrenados. Usted mueve bf, el sesgo de la compuerta de olvido.
Todo se calcula en la página. La última columna es el producto de fk desde el paso t + 1 hasta el 12: de cada unidad que la memoria tenía en el paso t, cuánto sigue en c12 por el camino de la memoria. El gradiente vuelve por ese camino multiplicado por las mismas f. En la RNN, el factor de cada paso es u (1 − h²).