Como é que os benchmarks se relacionam com as capacidades do mundo real? Para estudar isso, contratámos 4 mantenedores de repositórios utilizados no SWE-bench Verified para rever o código do agente. Dos PRs do agente que passaram pelo avaliador do SWE-bench, os mantenedores fundiriam cerca de metade. Isso se mantém considerando o ruído nas decisões dos mantenedores.

Para medir o progresso algorítmico desde 2019, re-treinei o GPT-2 usando a pilha moderna de speedrun nanogpt. O SOTA atual do nanogpt é 707x mais rápido. Podemos decompor o aumento total de velocidade em > 15x mais FLOP por segundo (em hardware fixo) > 46x menos FLOPs para alcançar a mesma perda de validação.

A IA parece estar a difundir-se mais lentamente do que da última vez que tivemos uma nova classe de inteligências gerais a entrar no mercado de trabalho.