Was bedeutet statistisch signifikant?

Statistische Signifikanz bedeutet, dass ein Ergebnis allein durch Zufall unwahrscheinlich war, gemessen an einer vorab vereinbarten Schwelle. Es ist ein Vortest und kein Urteil: Das Muster ist wahrscheinlich kein Glück, und mehr ist damit nicht festgestellt. Reichlich signifikante Befunde sind viel zu klein, um zu zählen.

Ein Unternehmen testet zwei Kaufbuttons und der grüne gewinnt mit 2%. Die Frage, die sich vor jedem Jubel lohnt, ist, wie oft zufällige Schwankung allein einem von zwei identischen Buttons 2% Vorsprung verschaffen würde. Statistische Signifikanz ist genau diese Frage in formaler Form: Forschende wählen vor dem Hinsehen eine Schwelle, fast immer 5%, und nennen ein Ergebnis signifikant, wenn Zufall allein so etwas Großes selten hervorbringen würde. Warum die Linie vorab festlegen, statt jedes Ergebnis nach seinen Verdiensten zu beurteilen? Weil sich ohne sie alle einreden, was sie zu finden hofften, die Linie wirkt also als Festlegung, bevor die Daten widersprechen können. Der Schutz ist dünner, als er aussieht. Die 5%-Schwelle ist eine Konvention und kein Naturgesetz, wodurch ein Ergebnis von 4,9% und eines von 5,1% als Gegensätze behandelt werden, obwohl sie beinahe Zwillinge sind. Signifikanz sagt auch nichts über die Größe, denn bei 50.000 Nutzern nimmt ein Effekt, den niemand je bemerken würde, die Hürde bequem.

Ein Freund behauptet, er unterscheide Leitungswasser von Flaschenwasser, probiert vier Gläser und trifft alle vier. Beeindruckend, bis du ausrechnest, dass reines Raten alle vier in etwa 6% der Fälle trifft, jemand schafft es also an jedem ruhigen Nachmittag ganz ohne Talent. Verlange zwölf Gläser und Raten überlebt fast nie, womit zwölf Treffer etwas bedeuten. Beachte, was der Test dir weiterhin nicht sagen kann: ob dein Freund einen Unterschied schmeckt, der beim Abendessen zählt.