El Transformer de la sesión encadena cinco piezas: nn.Linear(1, d) lleva cada mes a d números; la atención tiene cuatro matrices de d × d con sesgo (consulta, clave, valor y la que junta los cabezales); dos nn.Linear, de d a a y de a a d; dos LayerNorm con 2d números cada una, y nn.Linear(d, 1) a la salida. En PyTorch, d es d_model, a es dim_feedforward y los cabezales son nhead.
La serie del curso tiene 110 meses. Con los meses hasta diciembre de 2024, la diferencia con hace 12 meses y ventanas de 12 pasos, quedan 72 ventanas: 24 se guardan para la validación y 48 entrenan la red. La página cuenta los parámetros de cada variante y los pone al lado del backtest.
Los parámetros se cuentan en la página. El MAPE es del backtest común, 13 orígenes y 12 meses, con el pronóstico promedio de cinco semillas, calculado con PyTorch fuera de la página con el mismo código del notebook; las variantes sin MAPE no se pasaron por el backtest.