¿Qué significa estadísticamente significativo?

La significación estadística quiere decir que un resultado era poco probable por puro azar, medido contra un límite acordado de antemano. Es una prueba de cribado y no un veredicto: el patrón probablemente no es suerte, y nada más que eso queda establecido. Muchísimos hallazgos significativos son demasiado pequeños para importar.

Una empresa prueba dos botones de compra y el verde gana por un 2%. La pregunta que vale la pena hacerse antes de celebrar nada es con qué frecuencia la variación aleatoria, por sí sola, le daría a uno de dos botones idénticos una ventaja del 2%. La significación estadística es esa pregunta hecha formal: los investigadores eligen un umbral antes de mirar, casi siempre el 5%, y llaman significativo a un resultado cuando la suerte sola rara vez produciría algo tan grande. ¿Por qué fijar la línea de antemano en vez de juzgar cada resultado por sus méritos? Porque sin ella todo el mundo se convence de lo que esperaba encontrar, así que la línea funciona como un compromiso hecho antes de que los datos puedan replicar. La protección es más fina de lo que parece. Ese límite del 5% es una convención y no una ley de la naturaleza, lo que deja que un resultado de 4,9% y otro de 5,1% se traten como opuestos siendo casi gemelos. La significación tampoco dice nada del tamaño, ya que con 50.000 usuarios un efecto que nadie notaría jamás pasa el listón con holgura.

Un amigo dice que distingue el agua del grifo de la embotellada, prueba cuatro vasos y acierta los cuatro. Impresionante hasta que calculas que adivinar al azar acierta los cuatro un 6% de las veces, así que alguien lo consigue cada tarde tranquila sin ningún talento. Pídele doce vasos y el azar casi nunca sobrevive, lo que hace que doce aciertos valgan algo. Fíjate en lo que la prueba sigue sin poder decirte: si tu amigo nota una diferencia que importe en una cena.