Il grande fisico Richard Feynman una volta raccontò una storia che illustra il problema del p-hacking. È un principio di base che tutti dovrebbero comprendere. Mi è sempre rimasto impresso. L'ho incollato qui sotto. ⬇️ Ora mi rivolgo a un altro tipo di principio o idea, e cioè che non ha senso calcolare la probabilità o la possibilità che qualcosa accada dopo che è accaduto. Molti scienziati non apprezzano nemmeno questo. Infatti, la prima volta che ho avuto una discussione su questo è stata quando ero uno studente laureato a Princeton, e c'era un tizio nel dipartimento di psicologia che stava conducendo gare di topi. Voglio dire, ha una cosa a forma di T, e i topi vanno, e vanno a destra, e a sinistra, e così via. Ed è un principio generale degli psicologi che in questi test organizzano in modo che le probabilità che le cose che accadono accadano per caso siano piccole, in effetti, meno di una su venti. Questo significa che una su venti delle loro leggi è probabilmente sbagliata. Ma i modi statistici per calcolare le probabilità, come il lancio di una moneta se i topi andassero casualmente a destra e a sinistra, sono facili da calcolare. Quest'uomo aveva progettato un esperimento che avrebbe mostrato qualcosa che non ricordo, se i topi andassero sempre a destra, diciamo. Non riesco a ricordare esattamente. Doveva fare un gran numero di test, perché, ovviamente, potevano andare a destra accidentalmente, quindi per ridurlo a una su venti per probabilità, doveva farne un certo numero. Ed è difficile da fare, e lui ha fatto il suo numero. Poi scoprì che non funzionava. Andarono a destra, e andarono a sinistra, e così via. E poi notò, in modo molto notevole, che alternavano, prima a destra, poi a sinistra, poi a destra, poi a sinistra. E poi corse da me e disse: "Calcola per me la probabilità che debbano alternare, così posso vedere se è meno di una su venti." Io dissi: "Probabilmente è meno di una su venti, ma non conta." Lui disse: "Perché?" Io dissi: "Perché non ha senso calcolare dopo l'evento. Vedi, hai trovato la peculiarità, e quindi hai selezionato il caso peculiare." Ad esempio, ho avuto l'esperienza più straordinaria questa sera. Mentre entravo qui, ho visto la targa ANZ 912. Calcola per me, per favore, le probabilità che di tutte le targhe nello stato di Washington io debba vedere ANZ 912. Beh, è una cosa ridicola. E, allo stesso modo, ciò che deve fare è questo: il fatto che le direzioni dei topi alternino suggerisce la possibilità che i topi alternino. Se vuole testare questa ipotesi, una su venti, non può farlo dai dati stessi che gli hanno dato l'indizio. Deve fare un altro esperimento da capo e poi vedere se alternano. Lo ha fatto, e non ha funzionato.

L'esempio della targa è 💋🤌