Hvordan samsvarer benchmarks med reelle kapabiliteter? For å studere dette ansatte vi 4 vedlikeholdere av repos brukt i SWE-bench Verified for å gjennomgå agentkode. Av agent-PR-er som bestod SWE-bench sin grader, ville vedlikeholderne slå sammen ~halvparten. Dette tar hensyn til støy i vedlikeholdernes beslutninger.

For å måle algoritmisk fremgang siden 2019, trente jeg GPT-2 på nytt ved hjelp av den moderne nanogpt speedrun-stakken. Dagens nanogpt SOTA er 707 ganger raskere. Vi kan dekomponere total hastighetsøkning i > 15 ganger raskere FLOP per sekund (på fast maskinvare) > 46 ganger færre FLOP-er for å nå samme vekttap.

AI ser ut til å spre seg saktere enn sist vi hadde en ny klasse av generelle intelligenser på arbeidsmarkedet.