「サンプルサイズ（標本の大きさ）」とは？

サンプルサイズとは、その研究が実際に何人、あるいは何個を測ったかということです。小さな標本は運だけで結果が大きく振れるため、わくわくするような小規模の発見が、誰かが繰り返した途端に消えてしまいます。ただし大きな標本が直すのは偶然だけで、選び方の悪い標本は決して直りません。

どの研究も世界の一切れを測り、その一切れが全体を代表していることを願っており、切れが小さいほど何が見えるかを運が決めます。公正なコインを10回投げて表が7回なら普通ですが、1000回投げて700回表なら異常です。研究も同じで、20人での目を引く結果は偶然が驚くほど頻繁に生む類のものであり、小規模研究の劇的な発見が他の研究室による再実験で消えてしまう一因がこれです。普遍的に正しい人数というものはなく、効果の大きさと人によるばらつきの程度に左右されます。全国世論調査なら誤差3ポイント前後のために約1000人が必要で、それは人口500万の国でも3億の国でも変わりません。精度はすぐ高くつくようにもなり、その誤差を半分にするには約4倍の参加者が要ります。人数で買えないのが代表性で、有権者全体を知りたいのに若い成人だけに聞くような、母集団の一部を取りこぼす標本は、何人足しても偏ったままです。選び方の悪い参加者が100万人いても、出てくるのは精密に間違った答えです。

レストランを1皿で判断するか、10皿で判断するか。1皿が絶品でも、厨房が優秀なのか、得意料理に当たっただけなのかは分かりません。メニュー全体から10皿なら、はるかに多くが分かります。ただし10皿ともデザートならメインについては何も分からず、問題は皿数ではなくどれを選んだかだったのです。