Den store fysikern Richard Feynman berättade en gång en historia som illustrerade problemet med p-hacking. Det är en grundläggande princip som alla borde förstå. Det har alltid stannat kvar hos mig. Jag har klistrat in den nedan. ⬇️ Jag vänder mig nu till en annan typ av princip eller idé, och det är att det inte är meningsfullt att beräkna sannolikheten eller chansen att något händer efter att det hänt. Många forskare uppskattar inte ens detta. Faktum är att första gången jag hamnade i en diskussion om detta var när jag var doktorand på Princeton, och det fanns en kille på psykologiinstitutionen som sprang ekorrhjul. Jag menar, han har en T-formad grej, och råttorna går åt höger, och åt vänster, och så vidare. Och det är en allmän princip för psykologer att de i dessa tester ordnar så att sannolikheten att det som händer av en slump är liten, faktiskt mindre än en på tjugo. Det betyder att en av tjugo av deras lagar troligen har fel. Men de statistiska metoderna för att räkna ut oddsen, som att kasta slant om råttorna slumpmässigt rör sig åt höger och vänster, är lätta att räkna ut. Den här mannen hade utformat ett experiment som skulle visa något jag inte minns, om råttorna alltid gick åt höger, låt oss säga. Jag minns inte exakt. Han var tvungen att göra ett stort antal tester, för de kunde förstås gå åt höger av misstag, så för att få ner det till en på tjugo med odds var han tvungen att göra flera av dem. Och det är svårt att göra, och han gjorde sitt. Sedan upptäckte han att det inte fungerade. De gick åt höger, och de gick åt vänster, och så vidare. Och sedan märkte han, mest anmärkningsvärt, att de turades om, först höger, sedan vänster, sedan höger, sedan vänster. Och sedan sprang han fram till mig och sa: "Beräkna sannolikheten för mig att de ska alternera, så att jag kan se om den är mindre än en på tjugo." Jag sa, "Det är förmodligen mindre än en på tjugo, men det räknas inte." Han sa, "Varför?" Jag sa, "För det är inte logiskt att räkna ut efter händelsen. Du förstår, du hittade det märkliga, och därför valde du det märkliga fallet." Till exempel hade jag den mest anmärkningsvärda upplevelsen i kväll. När jag kom hit såg jag registreringsskylten ANZ 912. Beräkna för mig, tack, oddsen att av alla registreringsskyltar i delstaten Washington råkar jag se ANZ 912. Det är en löjlig grej. Och på samma sätt måste han göra detta: Det faktum att råttorna växlar mellan antyder möjligheten att råttor alternerar. Om han vill testa denna hypotes, en av tjugo, kan han inte göra det utifrån samma data som gav honom ledtråden. Han måste göra ett nytt experiment igen och sedan se om de turas om. Det gjorde han, och det fungerade inte.

Exemplet med registreringsskylten är 💋🤌