Ejercicios · Infra · Profiling python avx¶
Profiling en Python e instrucciones AVX. Los apartados van en el orden de la clase y todos se resuelven en el navegador. Cada uno toma las cifras que se midieron en la sesión y las deja mover: antes de ver un número toca escribirlo, y cada respuesta equivocada dice por qué no.
Introducción al perfilado¶
El techo de una optimización¶
Un programa de 20 segundos repartido en cuatro funciones. Antes de mover nada, elija cuánto se gana si la función que pesa el 70 % queda al doble de velocidad: la respuesta no es dos. Después dos perillas, la fracción que se toca y cuánto se acelera, para ver el techo que fija lo que no se toca. Cierra con la decisión que el perfil obliga a tomar: cuál función optimizar, y cuándo no optimizar ninguna.
Librería time¶
Reloj de pared y tiempo de CPU¶
Un programa por tramos: lee un archivo, calcula, consulta un servicio y
procesa con cuatro hilos. Elija qué va a marcar perf_counter y qué va a
marcar process_time al final, y luego véalos avanzar tramo por tramo. Las
esperas suman reloj y no CPU; el tramo de cuatro hilos suma cuatro veces más
CPU que reloj. Hay tres programas para escoger, entre ellos el sleeper y el
spinlock de la clase.
Librería timeit¶
Lo que devuelve timeit¶
Tres cosas que se prestan a confusión, con números. El total de cien
repeticiones no es el promedio; el setup que queda dentro del fragmento
infla la medida veintiséis veces; y una sola medición con time cae donde
el ruido del sistema la deje, mientras la media de veinte se queda quieta.
Cada medición individual se saca con un botón y se ve dónde cae.
Librería cProfile¶
Cuántas veces se llama fib¶
El árbol de llamadas de fib(n), nivel por nivel, con las repetidas
marcadas. Prediga cuántas llamadas hace fib(6) y después cuántas ejecutan
el cuerpo con @lru_cache; al comprobar aparecen las cifras de fib(35) de
la clase: casi treinta millones contra treinta y seis. La última parte es
leer una tabla de cProfile: con ncalls, tottime y cumtime a la vista,
decidir qué función se toca primero y qué número va en el informe.
Librería Pyinstrument¶
Cuántas muestras hacen falta¶
Un perfilador estadístico solo ve lo que dura más que su intervalo. Prediga
cuántas muestras toma en los 4,64 s de fib(35) y qué intervalo pide un
programa de una décima de segundo. Después la simulación: el reparto real
del Monte Carlo de la clase contra lo que estima el muestreo con 5, 13, 46,
132 o 1.000 muestras. Con pocas, las funciones pequeñas desaparecen del
reporte; con muchas, el error baja de dos puntos.
Comparativa y conclusiones¶
Cuál herramienta responde qué¶
Ocho preguntas sobre ruta.py, el programa que la clase midió con las
cuatro herramientas, y las cuatro herramientas como respuesta. Cuántas veces
se llamó distancia, quién llamó a quién, dónde está el medio segundo de
espera, qué tiempo va en el informe, cuál se puede dejar en producción. La
última es la que sorprende: por qué aquí Pyinstrument costó lo mismo que
cProfile.
Instrucciones AVX y NumPy¶
Carriles de un registro¶
Cuántas instrucciones recorren cinco millones de float64 con un registro
de 256 bits, y cuántas con 512. Después los cinco patrones que la clase
midió sobre el mismo arreglo, uno por uno: para cada uno se decide qué
condición rompe, y la respuesta destapa su tiempo. El if dentro de un
bucle de Python y la recurrencia cuestan casi lo mismo, ciento treinta veces
lo contiguo, aunque solo uno de los dos se pueda vectorizar; por qué, es la
pregunta final.
Cuándo compensa la GPU¶
Operaciones divididas entre bytes que viajan. Prediga cuánto tarda el arreglo de cinco millones en ir y volver por PCIe y compárelo con los 11,8 ms en que la CPU ya lo había resuelto; después las operaciones por byte del producto de matrices de 4.000 × 4.000. Una perilla encadena operaciones sobre los mismos datos para ver en qué punto el viaje deja de mandar. Cierra con la medición que engaña: la llamada que retorna antes de que la GPU termine.
Ejercicio práctico¶
El ejercicio de esta semana, con sus verificaciones en GitHub Actions, es infra-profiling-en-python: las cuatro herramientas sobre la misma función, el perfil que decide qué cambiar, el producto punto en tres formas y AVX a mano.