Bardzo interesująca praca na temat tego, jak badania empiryczne muszą reagować na erę AI. Konwencjonalne testy statystyczne z użyciem wartości p pochodzą ze świata, w którym każdy test był uważany za dość kosztowny. AI sprawia, że każdy test jest zasadniczo darmowy do przeprowadzenia. Kilka kluczowych punktów z abstraktu: --"udowadniamy, że przesiewanie się załamuje, gdy testowanie staje się tanie, chyba że wymagane liczby kontroli odporności skalują się przynajmniej liniowo w odwrotności kosztu każdego testu" --"argumentujemy za potrzebą opracowania metod interpretacji zestawów wielu specyfikacji jednocześnie" Tak! Wciąż nie wiem dokładnie, jak to będzie wyglądać i jakie będzie wrażenie, ale to wyraźnie jest to, co jest wymagane. I musi działać w obie strony: (1) Wykrywać i zniechęcać do wybiórczych wyników badań Ale równie istotne: (2) Wykrywać i nagradzać dobre wyniki. Numer 2 może okazać się w pewnych aspektach trudniejszy. Cała nasza intuicja wydaje się skupiać na pokazaniu, że wynik jest "mniej odporny" niż myśleliśmy, i żądaniu fałszywego poczucia doskonałości od opublikowanych wyników. Kiedy możemy zobaczyć całą konstelację wyników, musimy znaleźć właściwy sposób, aby być bardziej hojnym/realistycznym w tym, co liczy się jako użyteczna informacja.