Wielki fizyk Richard Feynman opowiedział kiedyś historię ilustrującą problem p-hacking. To podstawowa zasada, którą każdy powinien zrozumieć. Zawsze to ze mną zostało. Wklejam to poniżej. ⬇️ Teraz przechodzę do innego rodzaju zasady lub pomysłu, a mianowicie, że nie ma sensu obliczać prawdopodobieństwa lub szansy, że coś się wydarzy po tym, jak się wydarzy. Wiele osób z kręgu naukowego nawet tego nie docenia. W rzeczywistości, pierwszy raz wszedłem w spór na ten temat, gdy byłem studentem magisterskim na Princeton, a był tam facet z wydziału psychologii, który prowadził wyścigi szczurów. Mam na myśli, że miał coś w kształcie litery T, a szczury biegły, i szły w prawo, w lewo, i tak dalej. I to ogólna zasada psychologów, że w tych testach układają tak, aby szanse, że rzeczy, które się wydarzyły, wydarzyły się przypadkowo, były małe, w rzeczywistości mniej niż jedna na dwadzieścia. To oznacza, że jedna na dwadzieścia ich praw jest prawdopodobnie błędna. Ale statystyczne sposoby obliczania szans, jak rzucanie monetą, jeśli szczury miałyby iść losowo w prawo i w lewo, są łatwe do obliczenia. Ten człowiek zaprojektował eksperyment, który miał pokazać coś, czego nie pamiętam, jeśli szczury zawsze szły w prawo, powiedzmy. Nie mogę dokładnie przypomnieć sobie. Musiał przeprowadzić dużą liczbę testów, ponieważ, oczywiście, mogły iść w prawo przypadkowo, więc aby zredukować to do jednej na dwadzieścia, musiał przeprowadzić ich wiele. I to jest trudne do zrobienia, a on zrobił swoją liczbę. Potem odkrył, że to nie działa. Szły w prawo, szły w lewo, i tak dalej. A potem zauważył, co najbardziej niezwykłe, że się zmieniały, najpierw w prawo, potem w lewo, potem w prawo, potem w lewo. A potem pobiegł do mnie i powiedział: „Oblicz dla mnie prawdopodobieństwo, że będą się zmieniać, żebym mógł zobaczyć, czy jest mniej niż jedna na dwadzieścia.” Powiedziałem: „Prawdopodobnie jest mniej niż jedna na dwadzieścia, ale to się nie liczy.” On powiedział: „Dlaczego?” Ja powiedziałem: „Ponieważ nie ma sensu obliczać po zdarzeniu. Widzisz, znalazłeś osobliwość, więc wybrałeś osobliwy przypadek.” Na przykład, miałem najbardziej niezwykłe doświadczenie dzisiaj wieczorem. Kiedy tu wchodziłem, zobaczyłem tablicę rejestracyjną ANZ 912. Oblicz dla mnie, proszę, szanse, że spośród wszystkich tablic rejestracyjnych w stanie Waszyngton powinienem zobaczyć ANZ 912. Cóż, to absurdalna sprawa. I w ten sam sposób, co on musi zrobić, to: Fakt, że kierunki szczurów się zmieniają, sugeruje możliwość, że szczury się zmieniają. Jeśli chce przetestować tę hipotezę, jedną na dwadzieścia, nie może tego zrobić na podstawie tych samych danych, które dały mu wskazówkę. Musi przeprowadzić inny eksperyment od nowa i wtedy zobaczyć, czy się zmieniają. Zrobił to, i to nie zadziałało.

Przykład tablicy rejestracyjnej to 💋🤌