Clicked Gallery

O que é p-hacking?

Sublinhado num livro didático real. Explicado pelo Clicked.

Usado numa frase

University Course Reader · STEM

The effect appeared only after two participants were dropped and one covariate was added, which reviewers flagged as p-hacking rather than analysis.

O leitor sublinhou um termo — num artigo ou no PDF de um paper. O Clicked tornou o termo estatístico «p-hacking» fácil de entender:

Explicado em três níveis

Os mesmos fatos, outra vibe — Modo slang 😎

O método Clicked

Overview

P-hacking é analisar os mesmos dados várias e várias vezes, de maneiras diferentes e todas defensáveis, até um resultado parecer estatisticamente significativo, e então reportar só a versão que funcionou. Nada é falsificado e todos os números são reais. A trapaça está em escolher depois de ver as respostas. Uns pesquisadores usaram isso para mostrar, com um experimento real, que uma música dos Beatles deixava quem ouvia 1,5 ano mais novo, o que nenhuma música faz, e esse era justamente o ponto.

Overview

P-hacking é espremer um conjunto de dados até ele soltar alguma coisa publicável. Nada de números forjados, só ir testando ângulo atrás de ângulo sem alarde: quais medidas contam, quando parar de coletar, se entra uma variável de controle de penetra, quais comparações passam no corte. O arranjo é feito para deixar uma coincidência passar mais ou menos uma vez a cada 20. Uma equipe famosa simulou os quatro truques juntos, e dados-lixo passaram por descoberta em mais da metade das vezes. Nenhum passo do caminho parecia trapaça. 😎

Uma ideia rápida — muitas vezes é tudo de que você precisa.

Detail

P-hacking é rodar muitas versões de uma análise sobre um mesmo conjunto de dados e reportar a que cruzou a linha da significância estatística, como se tivesse sido o único teste. As versões vêm de escolhas corriqueiras. Tirar os valores atípicos ou manter. Acrescentar uma variável de controle ou não. Dar a coleta por encerrada agora ou seguir. Cada escolha se defende sozinha. É isso que torna a prática invisível. A falha está no momento. Qualquer análise escolhida antes de os dados chegarem é um teste. A mesma análise, pinçada depois de um cardápio de tentativas, é uma busca, porque o depois deixa a sorte escolher o método. Em 2011, três pesquisadores fizeram um experimento real com universitários para mostrar como isso é fácil. Um grupo ouviu uma música dos Beatles e o outro uma música neutra. Reportados com honestidade, os números diziam que o grupo dos Beatles tinha ficado 1,5 ano mais novo, p = 0,040, o que não pode ser verdade. Eles também tinham perguntado a cada estudante uma dúzia de outras coisas, da idade que sentiam ter até a idade do pai. O resultado só cruzou a linha quando se ajustou pela idade do pai. Sem esse ajuste, p = 0,33 e não havia nada ali. A saída é decidir a análise antes de olhar e revelar tudo o que foi testado. P-hacking é diferente de viés de publicação, que decide quais artigos prontos chegam a ser lidos. O p-hacking acontece antes de o artigo existir.

Detail

P-hacking é fazer análises passarem por audição até uma ser aprovada, e depois fingir que houve só aquela audição. O assustador é que quem faz isso raramente se sente desonesto. Todo ajuste tem uma história. Aquele valor atípico estava mesmo esquisito, aquela variável extra é mesmo padrão, e cinco participantes a mais só podem ajudar, né? A vontade de acertar faz o resto, e a opção que favorece continua parecendo a correta. Espiar é a forma clássica. Comece com 10 por grupo, refaça a conta a cada pessoa nova, pare assim que os astros se alinharem, e você vai pescar um efeito que não existe umas 22 % das vezes. Numa pesquisa citada pelo estudo mais famoso sobre tudo isso, cerca de 70 % dos cientistas do comportamento admitiram exatamente esse tipo de espiada. O sinal para quem lê é uma pergunta só. Essa decisão teria acontecido se os números já fossem significativos de qualquer jeito? Se a resposta sincera for não, o método foi escolhido pelo resultado. Seja como for, os alarmes falsos que isso produz são justamente os achados que depois se recusam a replicar. 😎

Quer mais? Um clique aprofunda.

Analogy

Você se pesa cinco vezes antes de decidir o que vai contar para as pessoas. Depois da academia, antes do café, sem sapato, com uma mão apoiada no toalheiro. A leitura mais baixa vence e vira o seu peso oficial. Todos os números daquela balança eram reais. A mentira está na escolha, porque você viu as cinco, ficou com a que favorecia e nunca mencionou as outras. P-hacking é exatamente esse movimento aplicado a dados de pesquisa. Muitas leituras honestas, uma só reportada, e a busca deixada de fora da história.
Deepest level reached.

Analogy

Um golfista posiciona cinco bolas, manda quatro para as árvores e anota como uma única tacada limpa a que achou o fairway. Nada no cartão está forjado. Aquela tacada aconteceu mesmo, e o cartão mente do mesmo jeito, porque faltam quatro tentativas nele. Pergunte o handicap dele e você recebe a edição fairway da vida do sujeito. Um estudo com p-hacking é esse cartão. Tacadas reais, tentativas ausentes, volta suspeitamente limpa. 😎
Deepest level reached.

Conceito novo? Um exemplo do dia a dia faz clicar — novas analogias quando quiser.

Explicações de IA podem conter erros · Não é aconselhamento profissional

Definição formal — O mesmo termo, explicado da forma habitual

P-hacking é a prática de explorar a flexibilidade na coleta, na análise e no relato de dados para obter um valor-p estatisticamente significativo, tipicamente abaixo do limiar convencional de 0,05. Entre as formas estão a exclusão seletiva de observações, a escolha entre variáveis dependentes ou covariáveis, a seleção posterior de condições e regras de parada dependentes dos dados. Como cada estatística relatada é calculada legitimamente, o p-hacking distingue-se da fabricação de dados; seu efeito é inflar a taxa de falsos positivos acima do nível nominal de significância, e ele é mitigado pela pré-especificação das análises e pela divulgação completa das decisões analíticas.

Quer que o Clicked explique termos como “p-hacking” direto no seu navegador, inclusive em PDFs?

Adicionar ao Chrome — Grátis

50 explicações grátis · Sem cartão de crédito