Untuk mengukur kemajuan algoritmik sejak 2019, saya melatih ulang GPT-2 menggunakan tumpukan speedrun nanogpt modern. SOTA nanogpt saat ini 707x lebih cepat. Kita dapat menguraikan percepatan total menjadi > FLOP per detik 15x lebih cepat (pada perangkat keras tetap) > FLOP 46x lebih sedikit untuk mencapai kerugian val yang sama.