それはベイズ統計学ではなくて、言わば情報量規準主義ですよ

統計学を専門としない数学者から、ベイズ統計学の事前確率を主観的と言うのはトンデモだという非難から、ベイズ主義や頻度主義と言う分類を考えるのは有害無益だからやめて、カルバック・ライブラー情報量に基づく“主義によらない”統計学を考えるべきだと主張が展開され、その他のオモシロ主張^*1も含めて困惑が広がっている。

昨日から統計学にはやはり主義が要ると言う批判もされている^*2のだが、“主義によらない”と言う誤った謳い文句に騙されている。統計学の主義は手順や解釈の方針である事に注意すると、カルバック・ライブラー情報量に基づいた統計手法と言うのは一つの主義である。情報量規準主義。

もう少し具体的に説明すると、ベイズ統計学の事前確率（先験確率）を、データから定まらないと言う意味で主観的なものではなく、データから定まると言う意味で客観的なものにしようと言うのが、情報量規準主義だ。情報量規準主義者はその始祖を著名統計学者の赤池弘次氏としており、氏は「（想定する先験分布の）客観性の根拠を，エントロピーの推定量としての対数尤度に見出そうとするのが筆者の立場」と説明している^*3。語弊を恐れず言えば、1950年代まで遡る事ができる経験ベイズこそが、情報量規準主義の方法と言う事になる。

ここでベイズ統計学が何であるか考えよう。多くの場合、尤度関数とパラメーターの事前確率から、パラメーターの事後分布を求める方法と考える事ができる。ここで事前確率は、データから求める事ができないものであるべきだ。事前確率がデータから求める事ができるのであれば、事前確率も含めて尤度関数と見なすことができて、数値計算の複雑さ以外は最尤法と違いが無くなってしまう。実際、ベイズ統計学の本で紹介されるのにも関わらず、経験ベイズはベイジアン手法ではないとされている^*4。この意味で、赤池情報規準（AIC）や広く使える情報量規準（WAIC）で事前分布を推測しても、ベイジアン手法にはならない。パラメーターの事後確率を推定しているので、頻度主義にもならない^*5。こういうわけで、ベイジアンでも頻度主義でもない、情報量規準主義なるものの存在が言える。

情報量規準主義者は、この統計哲学とイデオロギー的な主義に無自覚に依拠して、フィネッティやサベッジと言ったベイズ統計学を作り上げていった人々を誤ったベイジアンと罵っているわけだが、それは主義を考えるのが有害無益と言いながら、統計学の「正しい主義」を論じることになっている。なお、情報量規準主義は強い前提の下で有効に機能しうるが、数理的に統計的因果推論や時系列データに上手く使えないそうだし、過去の推定結果を事前分布とする逐次ベイズ推定ではなく、事前分布を新たにつくる方がよいといった診断が下される可能性もあるので、統計ユーザーから見て使い勝手は悪そうである。

*1目に付いたのは以下の3点：

1. 頻度主義ではパラメーターは定数、ベイズ主義ではパラメーターは確率分布と言う説明を繰り返し非難しているのだが、頻度主義はパラメーターを定数とするために信頼区間にひねった解釈を与えていること、ベイズ統計ではパラメーターの事後分布が得られる事に注意が払われていない。

2. 主観ベイズ主義を定義、つまり統計哲学されている連投ツイートで、「モデル内では、まず事前分布φ(w)に従ってパラメータwがランダムに生成され」と言う説明があったのだが、事前分布はパラメータの真の分布ではない気がすると言うか、真の分布が分かっていたら推定しなくて済む。

3. 「最小二乗法は最尤法の特別な場合(残差を期待値ゼロの正規分布でモデル化した場合の最尤法)である」から、ある本が「最尤法の他にも最小二乗法があるかのように述べている」のがトンデモと主張しているが、OLSは大標本では中心極限定理のおかげで誤差項に正規分布を仮定しなくても良かったりするし、小標本でないと目立たないけれども標準誤差がちょっと小さくなる。これは実際に両方計算されているので分かっているはずだが、アルゴリズムもまったく違う。

4. 停止規則の違いに応じて事前分布を設定すれば、頻度主義のP値が計算できるので、尤度原理がデタラメと言う主張があったのだが、尤度原理の是非以前に、その事前分布を置く事で二項分布のパラメーターの推定量（と言うか事後分布）にバイアスが入る。情報量規準主義者の「真の分布との誤差が小さい結果が、より適切な推測」（渡辺澄夫「「主義」を心配するみなさまに」）と言う方針から見ると恣意的な事前分布になる。パラメーター推定のための事前分布と統計的仮説検定のための事前分布を分ける気かも知れないが、それも奇妙だ。

追記(2020/12/26 19:00):「試行回数nを固定した場合と成功回数kを固定した場合において、事前分布をそれぞれBeta(1,0), Beta(0,0)にすれば、事後分布で計算した仮説「成功確率はp以上である」の確率は対応する場合の片側検定のP値にぴったり一致」するそうなのだが、それらの（分子部分を）事前分布を使った推定は以下のように歪んだものとなる。大きく誤った推定量が得られやすくなる。

負の二項分布の最尤推定量の平均値は悪化しているとも言えないのだが、ベータ分布で修正した尤度関数による最尤推定量と真の値の差の二乗の平均値は、単純な尤度関数による最尤推定量と真の値の差の二乗の平均値よりも大きくなっている。

なお、負の二項分布の最尤推定量のバイアスを減らして不偏推定量に近づけるべく修正するテクニックは、Bias-Corrected Maximum Likelihood Estimatorに分類されており、先行研究がある。

*2「数理科学を使えば統計の”主義”を争う必要ない」という主張について検討する | 人はやがて死ぬ

なぜ統計学には主義が必要なのか - hidekatsu-izuno 日々の記録

*3赤池弘次 (1980) 「エントロピーとモデルの尤度(<講座>物理学周辺の確率統計)」日本物理学会誌, 35(7), pp.608–614

*4J. J. Deely and D. V. Lindley (1981) "Bayes Empirical Bayes," Journal of the American Statistical Association, Vol. 76, No. 376 (Dec., 1981), pp. 833-841

*5尤度原理を否定しているし、「95%信用区間の95%はモデル内部の事後分布での確率に過ぎず、現実の問題との関係は難しい」と、信用区間よりも信頼区間の方が解釈しやすいと言っているので、頻度主義的な統計解釈の方が感覚にあっているようだが。