La atención compara meses por sus números: si se barajan los meses de la ventana, los pesos se barajan con ellos y la suma da lo mismo. Para que la red sepa qué mes va primero, a los 16 números de cada mes se les suma una fila de una tabla fija de senos y cosenos, la codificación de posición. La columna c par lleva sen(p ωc) y la siguiente cos(p ωc), con ωc = 10 000−c/16 y p el paso menos 1.
La segunda parte mira un Transformer de una capa ya entrenado con la serie del curso hasta noviembre de 2024, con la tabla y sin ella: qué pesos pone el último mes de la ventana sobre los doce pasos, y qué pasa al barajar la ventana.
La tabla se calcula en la página. Rojo es +1, azul es −1 y blanco es 0; cada fila es un paso de la ventana.
Los pesos y los pronósticos vienen de PyTorch, con el mismo código del notebook de la sesión, calculados fuera de la página: el promedio de los dos cabezales para el último paso de la ventana. Las dos redes se entrenaron con los meses hasta noviembre de 2024, así que de enero a noviembre la red ya vio el mes y solo diciembre es un pronóstico.
Los once primeros pasos cambian de lugar y noviembre se queda en el paso 12.