「p値」とは？

研究で差が見つかったとき、原因は本物の効果か偶然かのどちらかだ。p値は、偶然だけでその大きさの差がどれほど簡単に生まれるかを測る数値で、小さいほど偶然では説明しにくい。ただし、発見が正しい確率を示すものではない。

睡眠薬の試験で、薬を飲んだ群が偽薬の群より12分早く眠れたとする。まず退屈な仮定から始める。薬には効果がなく、12分はただの偶然という仮定で、これを帰無仮説と呼ぶ。人を二群に分ければ、結果が完全に同じになることはないからだ。p値が答える問いは一つだけ。薬が本当に無効なら、偶然だけで12分以上の差はどれくらいの頻度で生まれるか。答えが100回中3回ならp値は0.03で、本物の効果がありそうだと言える。多くの分野は0.05未満を有意と呼ぶが、これは慣習にすぎず、下回っても効果が意味ある大きさとは限らない。役に立たない薬を20種類試せば、およそ1つは偶然だけで0.05を切るので、一度の当たりでは何も証明できない。

友人がサイコロで6を三連続で出し、ただの運だと言い張る。公正なサイコロがそれをやる確率はおよそ216分の1で、この216分の1こそが彼の主張のp値だ。十分小さいので「サイコロは公正」という楽な説明は通らなくなる。もっとも、珍しいことが起きる日もあるが。