Dos cálculos y un enlace de 12 GB/s: cuál paga el viaje a la GPU
El enlace PCIe del computador de la clase mueve cerca de 12 GB/s y no calcula
nada: cada byte que cruza tiene que pagarse con operaciones del otro lado. Elija cuánto dura
el viaje de un arreglo y cuántas operaciones por byte tiene un producto de matrices antes de
verlos, y al final decida qué le pasó a un cronómetro que marcó 40 µs.
1. El viaje por PCIe
La máquina de la clase: un Ryzen 5 3600 de un lado, una RTX 3060 Ti con
8 GiB propios del otro y, entre los dos, PCIe 3.0 ×16, cerca de 12 GB/s en la práctica.
Las dos cuentas con ? se destapan al responder las preguntas de abajo.
2. Antes de mirar
¿Cuántos ms tarda en ir y volver el arreglo de 5 M float64 por PCIe a 12 GB/s?
¿Cuántas operaciones por byte tiene el producto 4000 × 4000 en float32?
3. Dos razones, dos decisiones
Operación
Bytes
Operaciones
Op/byte
¿Se mueve?
1
Aquí el corte va en 10 op/byte: por debajo, el enlace manda y la GPU
espera con los carriles vacíos. Encadenar k operaciones sobre el mismo arreglo deja los
80 MB viajando una sola vez y multiplica la razón por k. Esa es la práctica: subir los
datos una vez, encadenar sobre ellos todo lo que se pueda y bajar solo el resultado; cada
ida y vuelta intermedia por PCIe se come la ganancia que dieron los carriles.
4. Medir lo que corre en la GPU
1import time
2import torch
3
4a = torch.rand(50_000_000, device="cuda")
5t0 = time.perf_counter()
6b = a * 2.5 + 1.0
7print(time.perf_counter() - t0) # 4e-05
perf_counter marca 40 µs para b = a * 2.5 + 1.0
sobre 50 millones de float32 en la GPU. ¿Qué pasó?