Cuatro hilos ocupan un núcleo y cuatro procesos ocupan tres
El mismo cálculo corrido con cuatro hilos y con cuatro procesos, medido con
perf stat en un AMD Ryzen 5 3600 de 6 núcleos y 12 hilos de hardware. Escoja
cuántos núcleos ocupó cada versión antes de ver la tabla, y después mueva el costo de arranque
y el trabajo por elemento para encontrar desde qué tamaño paga repartir.
1. Lo que midió perf
$ python3 hilos_vs_procesos.py
secuencial 1.37 s
4 hilos 1.42 s speedup 0.97x
4 procesos 0.46 s speedup 2.96x
$ perf stat -e task-clock python3 hilos_vs_procesos.py hilos
1.607,65 msec task-clock:u
1,617329927 seconds time elapsed
$ perf stat -e task-clock python3 hilos_vs_procesos.py procesos
1.750,13 msec task-clock:u
0,549521364 seconds time elapsed
Versión
task-clock
Transcurrido
Núcleos ocupados
Con 4 hilos, el programa gastó 1.607,65 ms de CPU en 1,617 s de reloj. ¿Cuántos
núcleos estuvo ocupando en promedio?
task-clock es el tiempo de CPU que acumulan todos los hilos y
procesos del programa; dividido entre el tiempo transcurrido sale el número de núcleos que
estuvieron ocupados. perf cronometra el proceso completo, con el arranque del
intérprete y los import, así que marca 1,617 s donde el cronómetro de dentro del
programa midió 1,42 s para con_hilos().
2. Hilos y procesos, lado a lado
Con 4 hilos: el reloj repartido en ocho turnos
Con 4 procesos, a la misma escala
Las dos líneas de tiempo están al mismo ancho, 1,617 s. En las filas de
hilos el bloque azul es el hilo que tiene el GIL y el gris es el que espera: en cada instante
hay uno solo ejecutando bytecode. En las de procesos, el filo ámbar de la izquierda es
arrancar su intérprete, unos 4,25 ms de los 17 que cuestan los cuatro, y el azul es el
cálculo, que esta vez sí corre a la vez en los cuatro. El tramo libre del final es recoger
los resultados y cerrar los procesos.
3. A partir de qué tamaño paga
La misma suma, cinco tamaños de entrada, siempre 4 procesos:
Elementos
Secuencial
4 procesos
Speedup
Crear los cuatro procesos cuesta unos 17 ms. ¿Cuál es el primer tamaño de la tabla en
el que la versión con procesos gana?
Crear un proceso obliga a montar un intérprete aparte, entregarle los
argumentos y abrir los canales por donde vuelve el resultado. Ese costo se paga completo, así
la tarea dure un milisegundo.
4. Mover las perillas
17 ms
48 ns
Cada pareja de barras va a su propia escala: entre el primer tamaño y el
último hay cuatro órdenes de magnitud y con una escala común las primeras barras no se verían.
La barra verde es la versión con procesos cuando gana y la roja cuando pierde; el número que
lleva encima es el speedup del modelo. Con 48 ns por elemento y 17 ms de arranque, el modelo
empata cerca de 472.000 elementos, entre los dos tamaños medidos donde cambia el signo.
Cómo decidir antes de escribir el código: cronometrar la versión
secuencial; si tarda menos que arrancar los procesos, no hay nada que paralelizar; si la tarea
es corta pero se repite miles de veces, agrupar las repeticiones en lotes grandes y repartir
los lotes.
5. Qué hacer en cada caso
Una función tarda 2 ms y hay que aplicarla a 50.000 elementos.
¿Cómo se reparte entre cuatro procesos?