← Volver a los ejercicios

La posición y los pesos que aprende la red

La atención compara meses por sus números: si se barajan los meses de la ventana, los pesos se barajan con ellos y la suma da lo mismo. Para que la red sepa qué mes va primero, a los 16 números de cada mes se les suma una fila de una tabla fija de senos y cosenos, la codificación de posición. La columna c par lleva sen(p ωc) y la siguiente cos(p ωc), con ωc = 10 000−c/16 y p el paso menos 1.

La segunda parte mira un Transformer de una capa ya entrenado con la serie del curso hasta noviembre de 2024, con la tabla y sin ella: qué pesos pone el último mes de la ventana sobre los doce pasos, y qué pasa al barajar la ventana.

2. La tabla de senos y cosenos

La tabla se calcula en la página. Rojo es +1, azul es −1 y blanco es 0; cada fila es un paso de la ventana.

3. Los pesos que aprendió la red

Los pesos y los pronósticos vienen de PyTorch, con el mismo código del notebook de la sesión, calculados fuera de la página: el promedio de los dos cabezales para el último paso de la ventana. Las dos redes se entrenaron con los meses hasta noviembre de 2024, así que de enero a noviembre la red ya vio el mes y solo diciembre es un pronóstico.

4. Baraje la ventana de diciembre de 2024

Los once primeros pasos cambian de lugar y noviembre se queda en el paso 12.