Was ist ein p-Wert?

Findet eine Studie einen Unterschied, gibt es zwei mögliche Ursachen: etwas Echtes oder Zufall. Der p-Wert misst, wie leicht der Zufall allein einen so großen Unterschied erzeugen könnte, ein kleiner p-Wert heißt also, der Zufall würde das selten schaffen. Er verrät nicht, mit welcher Wahrscheinlichkeit der Befund stimmt.

Nimm eine Studie zu einem Schlafmittel, in der die behandelte Gruppe 12 Minuten schneller einschlief als die Placebo-Gruppe. Die langweilige Annahme, Nullhypothese genannt, lautet: Das Mittel tut nichts, und die 12 Minuten sind gewöhnlicher Zufall, denn zwei Gruppen von Menschen kommen nie exakt gleich heraus. Der p-Wert beantwortet eine einzige Frage: Wenn das Mittel wirklich nichts täte, wie oft würde der Zufall allein einen Abstand von 12 Minuten oder mehr öffnen? Schafft der Zufall das nur 3-mal in 100 Wiederholungen der Studie, ist der p-Wert 0,03, und etwas Echtes wird wahrscheinlich. Die meisten Fächer nennen alles unter 0,05 signifikant, doch diese Schwelle ist eine Konvention, und sie zu unterschreiten heißt nicht, dass der Effekt groß genug ist, um zu zählen. Eine Warnung: Teste 20 nutzlose Mittel an dieser Schwelle, und ungefähr eines besteht durch reinen Zufall, ein einzelner Glückstreffer beweist also wenig.

Ein Freund würfelt drei Sechsen hintereinander und nennt es Glück. Ein fairer Würfel schafft das etwa einmal in 216 Versuchen, und diese Eins-zu-216-Chance ist der p-Wert seiner Behauptung. Sie ist klein, also taugt der faire Würfel nicht mehr als bequeme Erklärung, auch wenn seltene Dinge vorkommen.