Para medir el progreso algorítmico desde 2019, reentrené GPT-2 usando la pila moderna de speedrun nanoGPT. El SOTA actual de nanoGPT es 707 veces más rápido. Podemos descomponer la aceleración total en > FLOP 15 veces más rápido por segundo (en hardware fijo) > 46 veces menos FLOPs para alcanzar la misma pérdida de val.