Le grand physicien Richard Feynman a un jour raconté une histoire illustrant le problème du p-hacking. C'est un principe de base que tout le monde devrait comprendre. Cela m'est toujours resté en tête. Je l'ai collé ci-dessous. ⬇️ Je me tourne maintenant vers un autre type de principe ou d'idée, et c'est qu'il n'y a aucun sens à calculer la probabilité ou la chance que quelque chose se produise après qu'il se soit produit. Beaucoup de scientifiques n'apprécient même pas cela. En fait, la première fois que j'ai eu une dispute à ce sujet, c'était quand j'étais étudiant diplômé à Princeton, et il y avait un gars dans le département de psychologie qui faisait des courses de rats. Je veux dire, il a une chose en forme de T, et les rats vont, et ils vont à droite, à gauche, et ainsi de suite. Et c'est un principe général des psychologues que dans ces tests, ils arrangent les choses de sorte que les chances que les événements qui se produisent se produisent par hasard soient faibles, en fait, moins d'une sur vingt. Cela signifie qu'une loi sur vingt est probablement fausse. Mais les méthodes statistiques de calcul des cotes, comme le lancer de pièces si les rats allaient aléatoirement à droite et à gauche, sont faciles à établir. Cet homme avait conçu une expérience qui montrerait quelque chose dont je ne me souviens pas, si les rats allaient toujours à droite, disons. Je ne me souviens pas exactement. Il devait faire un grand nombre de tests, car, bien sûr, ils pouvaient aller à droite par accident, donc pour réduire cela à une sur vingt par les cotes, il devait en faire un certain nombre. Et c'est difficile à faire, et il a fait son nombre. Puis il a découvert que cela ne fonctionnait pas. Ils allaient à droite, et ils allaient à gauche, et ainsi de suite. Et puis il a remarqué, de manière remarquable, qu'ils alternaient, d'abord à droite, puis à gauche, puis à droite, puis à gauche. Et puis il est venu vers moi, et il a dit : "Calcule la probabilité pour moi qu'ils alternent, afin que je puisse voir si c'est moins d'une sur vingt." J'ai dit : "C'est probablement moins d'une sur vingt, mais cela ne compte pas." Il a dit : "Pourquoi ?" J'ai dit : "Parce que cela n'a aucun sens de calculer après l'événement. Vous voyez, vous avez trouvé la particularité, et donc vous avez sélectionné le cas particulier." Par exemple, j'ai eu l'expérience la plus remarquable ce soir. En entrant ici, j'ai vu la plaque d'immatriculation ANZ 912. Calculez pour moi, s'il vous plaît, les chances que parmi toutes les plaques d'immatriculation de l'État de Washington, je devrais voir ANZ 912. Eh bien, c'est une chose ridicule. Et, de la même manière, ce qu'il doit faire est ceci : Le fait que les directions des rats alternent suggère la possibilité que les rats alternent. S'il veut tester cette hypothèse, une sur vingt, il ne peut pas le faire à partir des mêmes données qui lui ont donné l'indice. Il doit refaire une autre expérience et ensuite voir s'ils alternent. Il l'a fait, et cela n'a pas fonctionné.

L'exemple de plaque d'immatriculation est 💋🤌