Velký fyzik Richard Feynman kdysi vyprávěl příběh ilustrující problém p-hackingu. Je to základní princip, kterému by měl rozumět každý. Vždycky mi to utkvělo v paměti. Přiložil jsem to níže. ⬇️ Nyní se obracím k jinému principu nebo myšlence, a to, že nemá smysl počítat pravděpodobnost nebo šanci, že se něco stane až poté, co se to stane. Mnoho vědců si toho ani neuvědomuje. Poprvé jsem se kvůli tomu pohádal, když jsem byl doktorandem na Princetonu a byl tam chlapík na katedře psychologie, který běžel v závodech krys. Má něco ve tvaru T, a krysy jdou, jdou doprava, doleva a tak dále. A je obecným principem psychologů, že v těchto testech uspořádají tak, že pravděpodobnost, že se věci stanou náhodou, je malá, ve skutečnosti menší než jedna ku dvaceti. To znamená, že jeden z dvaceti jejich zákonů je pravděpodobně špatný. Ale statistické způsoby výpočtu pravděpodobnosti, jako je házení mincí, pokud by krysy náhodně šly doprava a doleva, jsou snadno pochopitelné. Tento muž navrhl experiment, který by ukázal něco, co si nepamatuji, pokud by krysy vždy šly doprava, řekněme. Přesně si nepamatuji. Musel udělat spoustu testů, protože samozřejmě mohly náhodou jít doprava, takže aby to snížil na jednu ku dvaceti podle pravděpodobnosti, musel udělat několik z nich. A je to těžké, a on to udělal. Pak zjistil, že to nefunguje. Šli doprava, pak doleva, a tak dále. A pak si všiml, nejpozoruhodněji, že se střídají, nejdřív doprava, pak doleva, pak doprava, a pak doleva. A pak ke mně přiběhl a řekl: "Spočítej mi pravděpodobnost, že se budou střídat, abych zjistil, jestli je menší než jedna ku dvaceti." Řekl jsem: "Pravděpodobně je to méně než jedna z dvaceti, ale nepočítá se to." Řekl: "Proč?" Řekl jsem: "Protože nedává smysl počítat po události. Vidíte, našli jste zvláštnost, a tak jste vybrali zvláštní případ." Například dnes večer jsem zažil ten nejpozoruhodnější zážitek. Když jsem sem přicházel, viděl jsem poznávací značku ANZ 912. Spočítejte mi, prosím, pravděpodobnost, že ze všech registračních značek ve státě Washington náhodou uvidím ANZ 912. No, je to směšné. A stejně tak musí udělat toto: Fakt, že se směry krys střídají, naznačuje možnost, že se střídají. Pokud chce tuto hypotézu otestovat, jeden z dvaceti to nemůže udělat ze stejných dat, která mu dala nápovědu. Musí udělat další experiment znovu a pak zjistit, jestli se střídají. Udělal to, ale nefungovalo to.

Příklad registrační značky je 💋🤌