For å måle algoritmisk fremgang siden 2019, trente jeg GPT-2 på nytt ved hjelp av den moderne nanogpt speedrun-stakken. Dagens nanogpt SOTA er 707 ganger raskere. Vi kan dekomponere total hastighetsøkning i > 15 ganger raskere FLOP per sekund (på fast maskinvare) > 46 ganger færre FLOP-er for å nå samme vekttap.