Abych měřil algoritmický pokrok od roku 2019, přetrénoval jsem GPT-2 pomocí moderního nanogpt speedrun stacku. Současný Nanogpt SOTA je 707x rychlejší. Můžeme rozložit celkové zrychlení na > 15x rychlejší FLOP za sekundu (na pevném hardwaru) > 46x méně FLOP, abych dosáhl stejné ztráty hodnoty.