Un travail très intéressant sur la manière dont la recherche empirique doit répondre à l'ère de l'IA. Les tests statistiques conventionnels avec des p-values proviennent d'un monde où chaque test était considéré comme assez coûteux. L'IA rend désormais chaque test essentiellement gratuit à exécuter. Quelques points clés de l'abstract : --"nous prouvons que le dépistage s'effondre à mesure que les tests deviennent bon marché, à moins que le nombre requis de vérifications de robustesse ne s'échelle au moins linéairement à l'inverse du coût de chaque test" --"nous plaidons pour la nécessité de développer des méthodes pour interpréter simultanément des ensembles de nombreuses spécifications" Oui ! Je ne sais toujours pas exactement à quoi cela ressemblera et comment cela se ressentira, mais c'est clairement ce qui est requis. Et cela doit aller dans les deux sens : (1) Attraper et dissuader les résultats de recherche sélectionnés Mais tout aussi crucial : (2) Détecter et récompenser les bons résultats. Le numéro 2 ici pourrait s'avérer d'une certaine manière plus difficile. Toute notre intuition semble tourner autour de la démonstration qu'un résultat est "moins robuste" que ce que nous pensions, et d'exiger un faux sens de perfection des résultats publiés. Lorsque nous pouvons voir toute la constellation des résultats, nous devons trouver le bon moyen d'être plus charitable/réaliste sur ce qui compte comme information utile.