Trabalho muito interessante sobre como a pesquisa empírica precisa responder à era da IA. Testes estatísticos convencionais com valores p vêm de um mundo em que cada teste era considerado bastante caro. A IA agora torna cada teste praticamente gratuito para rodar. Alguns pontos-chave do resumo: --"provamos que a triagem colapsa à medida que os testes se tornam baratos, a menos que o número necessário de verificações de robustez escale pelo menos linearmente no custo inverso de cada teste" --"defendemos a necessidade de desenvolver métodos para interpretar conjuntos de muitas especificações simultaneamente" Sim! Ainda não sei exatamente como isso vai parecer e se sentir, mas é claramente o que é necessário. E precisa cortar nos dois sentidos: (1) Capturar e desencorajar resultados de pesquisa selecionados a dedo Mas, tão importante quanto: (2) Detectar e recompensar bons achados. O número 2 aqui pode se mostrar, em alguns aspectos, mais difícil. Toda a nossa intuição parece estar em mostrar que uma descoberta é "menos robusta" do que pensávamos, e exigir uma falsa sensação de perfeição a partir dos resultados publicados. Quando podemos ver toda a constelação de descobertas, precisamos encontrar a maneira certa de sermos mais caridosos/realistas em relação ao que conta como informação útil.