Algoritmien edistymisen mittaamiseksi vuodesta 2019 lähtien koulutin GPT-2:ta uudelleen modernilla nanogpt-speedrun-pinolla. Nykyinen nanogpt SOTA on 707 kertaa nopeampi. Voimme hajottaa kokonaiskiihdytyksen muotoon > 15 kertaa nopeampi flop sekunnissa (kiinteällä laitteistolla) > 46x vähemmän FLOPeja, jotta saavutetaan sama val-häviö.