Este o lucrare foarte interesantă despre cum trebuie să răspundă cercetarea empirică la era AI. Testarea statistică convențională cu valori p provine dintr-o lume în care fiecare test era considerat destul de costisitor. AI-ul face acum ca fiecare test să fie practic gratuit de rulat. Câteva puncte cheie din rezumat: --"demonstrăm că screening-ul se prăbușește pe măsură ce testarea devine ieftină, cu excepția cazului în care numărul necesar de verificări de robustețe scalează cel puțin liniar în costul invers al fiecărui test" --"susținem necesitatea de a dezvolta metode pentru a interpreta simultan seturi cu mai multe specificații" Da! Încă nu știu exact cum va arăta și cum se va simți, dar este clar ceea ce este necesar. Și trebuie să taie în ambele direcții: (1) Prinde și descurajează rezultatele cercetărilor selectate cu grijă Dar, la fel de important: (2) Detectează și recompensează descoperirile bune. Numărul 2 aici ar putea fi în unele privințe mai dificil. Toată intuiția noastră pare să fie axată pe a arăta că o constatare este "mai puțin solidă" decât credeam și a cere un fals sentiment de perfecțiune din rezultatele publicate. Când putem vedea întreaga constelație de descoperiri, trebuie să găsim modalitatea corectă de a fi mai caritabili/realiști în ceea ce privește informațiile utile.