ダメな統計学を避けるための小冊子

適切な統計をかけるのには苦労が付きまとう。社会データのような様々な要因が混然と影響しあうものはもちろんのこと、生命科学や臨床実験などの比較的綺麗なはずのデータも、誤った取り扱いで誤った結論を導くことは多い。学術論文でさえ、そういう傾向がある。これを正す目的で、「ダメな統計学」と言う小冊子の邦訳が公開されている。議論している範囲が狭いので理系の人向きだが、文系の人も注意を払っていない部分なので、一読する価値はあると思う。ある程度の統計学の素養は要求される。

確率的誤差が大きいデータを扱う場合は、統計的仮説検定をパスしないと、データが何かを示していると主張できない。統計的仮説検定は、帰無仮説が正しいとして観測データが得られる確率p値が、基準値以下か否かで判断している。近年ではp値病と言っても良いと思うのだが、統計解析パッケージが機械的に計算するp値を、盲目的に信じている研究者が少なくない。誤った手法でp値が大きく左右されるにも関わらずだ。

「ダメな統計学」では、前半で統計的仮説検定の誤った解釈や応用を解説して、後半で誤った解釈や応用を防止する方法を考察している。

誤った解釈は、p値と基準率が検出力にどう関係しているかよく認識していないので起きるようだ。また、信頼区間のエラーバーとp値の関係を誤解している人は多いと思う。

誤った応用は、小さすぎるサンプルサイズによる検出力の不足、同じ被験者や特定集団からサンプルを集めてしまう擬似反復、サンプルの一部分同士を比較する多重比較、不十分なサンプルサイズになる可能性のある停止規則、サンプル中の観測値の規模が異なる不均一分散（「小さな極端なもの」と表現されている）が挙げられている。

こういう間違いの防止方法として、統計手続き（プロトコル）や何かを発見した業績にならないものを含めたデータセットの公表、そして統計教育の充実を推奨している。

理系でラボにいる人には参考になると思う。用語の説明が十分とは思わないが、それは統計学のテキストを開けばよいであろう。文系や理系もフィールドにいる人には同時性や系列相関、パネルや切断モデルなどに触れられていないので十分だとは思わないのだが、検出力の問題などは忘れがちなので、やはり一読する価値はあると思う。