AI時代に実証的研究がどのように対応すべきかについての非常に興味深い研究です。 従来のp値を用いた統計検定は、各検定が非常にコストが高いと考えられていた時代から生まれました。AIは今や各テストをほぼ無料で実施できるようにしています。 要約からのいくつかの重要なポイント: ――「検査が安くなるにつれてスクリーニングは崩壊することを証明します。ただし、必要な堅牢性検査の回数が各検査の反コストに対して少なくとも線形にスケールしない限りです」 --「我々は多くの仕様集合を同時に解釈する手法を開発する必要性を主張する」 はい!これがどう見えるか、どんな感じになるかはまだ正確にはわかりませんが、明らかに必要なものです。そして、両方向にカットしなければなりません: (1) 選りすぐりの研究結果を捉え、抑止すること しかし同じくらい重要なのは: (2) 良い発見を検出し、報いる。 2つ目はある意味で難しいかもしれません。私たちの直感は、発見が「思っていたよりも堅牢ではない」ことを示すこと、そして公開された結果から偽りの完璧さを求めることにあります。発見の全てが見えるようになったとき、何が有用な情報とみなされるかについて、より寛容で現実的なアプローチを見つける必要があります。