← Volver a los ejercicios

Parámetros contra 110 meses

El Transformer de la sesión encadena cinco piezas: nn.Linear(1, d) lleva cada mes a d números; la atención tiene cuatro matrices de d × d con sesgo (consulta, clave, valor y la que junta los cabezales); dos nn.Linear, de d a a y de a a d; dos LayerNorm con 2d números cada una, y nn.Linear(d, 1) a la salida. En PyTorch, d es d_model, a es dim_feedforward y los cabezales son nhead.

La serie del curso tiene 110 meses. Con los meses hasta diciembre de 2024, la diferencia con hace 12 meses y ventanas de 12 pasos, quedan 72 ventanas: 24 se guardan para la validación y 48 entrenan la red. La página cuenta los parámetros de cada variante y los pone al lado del backtest.

2. Cuente los parámetros

3. Al lado de los otros modelos

Los parámetros se cuentan en la página. El MAPE es del backtest común, 13 orígenes y 12 meses, con el pronóstico promedio de cinco semillas, calculado con PyTorch fuera de la página con el mismo código del notebook; las variantes sin MAPE no se pasaron por el backtest.