Aby zmierzyć postęp algorytmiczny od 2019 roku, ponownie wytrenowałem GPT-2, korzystając z nowoczesnego stosu nanogpt speedrun. Aktualny nanogpt SOTA jest 707x szybszy. Możemy rozłożyć całkowity przyspieszenie na > 15x szybsze FLOP na sekundę (na stałym sprzęcie) > 46x mniej FLOP-ów, aby osiągnąć tę samą stratę walidacyjną.