P-hacking é mau porque você está dando um sinal positivo a algo que é quase certamente falso. Você está poluindo ativamente a literatura científica com miragens. Um resultado nulo não é um experimento falhado. Um experimento nunca é um fracasso se for bem projetado e executado. Publicar resultados nulos ajuda ativamente a comunidade científica ao restringir o conjunto de alternativas plausíveis a serem testadas. Isso torna mais fácil descobrir o que é realmente verdade.

O grande físico Richard Feynman uma vez contou uma história ilustrando o problema do p-hacking. É um princípio básico que todos deveriam entender. Sempre ficou comigo. Colei abaixo. ⬇️ Agora, volto-me para outro tipo de princípio ou ideia, que é que não faz sentido calcular a probabilidade ou a chance de que algo aconteça depois que acontece. Muitos cientistas nem sequer apreciam isso. Na verdade, a primeira vez que entrei em uma discussão sobre isso foi quando eu era estudante de pós-graduação em Princeton, e havia um cara no departamento de psicologia que estava realizando corridas de ratos. Quero dizer, ele tem uma coisa em forma de T, e os ratos vão, e vão para a direita, e para a esquerda, e assim por diante. E é um princípio geral dos psicólogos que, nesses testes, eles organizam de forma que as chances de que as coisas que acontecem aconteçam por acaso sejam pequenas, na verdade, menos de uma em vinte. Isso significa que uma em vinte de suas leis provavelmente está errada. Mas as maneiras estatísticas de calcular as chances, como o lançamento de moeda se os ratos fossem para a direita e para a esquerda aleatoriamente, são fáceis de resolver. Esse homem havia projetado um experimento que mostraria algo que não me lembro, se os ratos sempre fossem para a direita, digamos. Não consigo lembrar exatamente. Ele teve que fazer um grande número de testes, porque, claro, eles poderiam ir para a direita acidentalmente, então, para reduzir a uma em vinte por probabilidades, ele teve que fazer um número deles. E é difícil de fazer, e ele fez o número dele. Então, ele descobriu que não funcionou. Eles foram para a direita, e foram para a esquerda, e assim por diante. E então ele notou, de forma mais notável, que eles alternavam, primeiro para a direita, depois para a esquerda, depois para a direita, depois para a esquerda. E então ele correu até mim e disse: “Calcule a probabilidade para mim de que eles deveriam alternar, para que eu possa ver se é menos de uma em vinte.” Eu disse: “Provavelmente é menos de uma em vinte, mas não conta.” Ele disse: “Por quê?” Eu disse: “Porque não faz sentido calcular após o evento. Você vê, você encontrou a peculiaridade, e assim selecionou o caso peculiar.” Por exemplo, tive a experiência mais notável esta noite. Enquanto entrava aqui, vi a placa de licença ANZ 912. Calcule para mim, por favor, as chances de que, entre todas as placas de licença no estado de Washington, eu devesse acontecer de ver ANZ 912. Bem, é uma coisa ridícula. E, da mesma forma, o que ele deve fazer é isto: O fato de que as direções dos ratos alternam sugere a possibilidade de que os ratos alternem. Se ele quiser testar essa hipótese, uma em vinte, ele não pode fazê-lo a partir dos mesmos dados que lhe deram a pista. Ele deve fazer outro experimento do zero e então ver se eles alternam. Ele fez, e não funcionou.