Очень интересная работа о том, как эмпирические исследования должны реагировать на эпоху ИИ. Обычные статистические тесты с p-значениями происходят из мира, в котором каждый тест считался довольно дорогим. Теперь ИИ делает каждый тест по сути бесплатным для проведения. Некоторые ключевые моменты из аннотации: --"мы доказываем, что отбор сужается, когда тестирование становится дешевым, если только необходимое количество проверок на надежность не увеличивается как минимум линейно в обратной зависимости от стоимости каждого теста" --"мы выступаем за необходимость разработки методов для одновременной интерпретации множества спецификаций" Да! Я все еще не знаю точно, как это будет выглядеть и ощущаться, но это явно то, что требуется. И это должно работать в обоих направлениях: (1) Поймать и предотвратить выборочные результаты исследований Но не менее важно: (2) Обнаруживать и вознаграждать хорошие результаты. Номер 2 здесь может оказаться в некотором смысле сложнее. Все наши интуиции, похоже, связаны с тем, чтобы показать, что результат "менее надежен", чем мы думали, и требовать фальшивое чувство совершенства от опубликованных результатов. Когда мы можем увидеть всю констелляцию результатов, нам нужно найти правильный способ быть более благожелательными/реалистичными в том, что считается полезной информацией.