統計的に有意とはどういう意味？

統計的有意性とは、ある結果が偶然だけで起きたとは考えにくいことを、あらかじめ合意した基準に照らして言うものだ。判決ではなくふるい分けの検査で、その型はたぶん運ではないというところまでしか確かめていない。有意な発見でも、気にする価値がないほど小さいものは山ほどある。

ある会社が購入ボタンを二種類試し、緑のほうが二パーセント差で勝った。祝う前に問う価値があるのは、まったく同じ二つのボタンに偶然のばらつきだけで二パーセントの差が付くことがどれくらいあるか、という点だ。統計的有意性はその問いを形式にしたもので、研究者は見る前に基準を選び、ほぼ必ず五パーセントとし、運だけならそれほど大きな差がめったに出ないときにその結果を有意と呼ぶ。なぜ結果ごとに中身で判断せず、線を先に引くのか。線がなければ誰もが見つけたかったものを自分に信じ込ませてしまうからで、線はデータが言い返してくる前に交わした約束として働く。その守りは見た目より薄い。五パーセントという区切りは自然法則ではなく慣習なので、四・九パーセントと五・一パーセントはほとんど双子なのに正反対として扱われる。有意性は大きさについても何も言わず、五万人のユーザーがいれば誰も気づかないような効果でも余裕でこの基準を越える。

友人が水道水とボトル水を見分けられると言い、四杯を試して四杯とも当てたとしても、当てずっぽうで四杯全部当たる確率は六パーセントほどあり、暇な午後には才能ゼロの誰かが必ず成功する。十二杯を頼めば当てずっぽうはまず生き残れず、だからこそ十二杯正解には意味が出てくる。それでも検査が答えてくれないことに注目してほしい。友人が夕食の場で意味を持つ違いを味わえるのかどうかだ。