理工系のかなりの人はR²<0.1の相関の存在を知らない

あるR²=0.25（決定係数0.25，相関係数0.5）ぐらいの社会データの散布図を見て、これに線型回帰を行って予測値の直線を描き込むのはおかしいと言う旨の発言が、理工系大学教員を含めて共感を呼んでいた。相関係数が低い場合は相関を認めない。そういう主義主張のようだ。

このR²重視主義は統計学では廃れている。以下のプロットを見て欲しい。このxとyには相関があるか、ないか、考えてみよう。

話題のプロットに相関はないと言っていた人々は、このプロットの相関も認めないと思うが、実はある。断言できる根拠もある。

実はこのデータは、y = 0.75x + ε, ε ∼ N(0, 1)というデータ生成モデルにしたがって生成したものだ。つまり、相関がある真のモデルからサンプルサイズ100でデータ生成している。

yをxで回帰してみると、以下のような結果になる。

係数は真のモデルにそれなり近い結果となっている。

相関のあるなしと言う判断において、R²は役に立たない

15行目のMultiple R-squared: 0.0005001に注目して欲しい。相関係数は0.01未満だ。モデル上、相関は確かにあり、サンプルサイズもある程度はあるが、相関係数は0.0005ぐらいである。誤差項εの分散が説明変数xの分散よりも大きいためで、サンプルサイズをいくら増やしても相関係数は増えない。

相関のあるなしと言う判断において、R²は役に立たない事がわかる。また、R²は非線形単調関数のデータセットに対して線形回帰で線形近似モデルを推定したときなどにも値が落ちるので、社会データの分析ではあまり重視されない。

係数の大きさとそのp値で判断

代わりに何を見るかと言うと、11行目だ。推定された係数は0.77528であり、絶対値は0よりそれなり大きい。そして、<2e-16 ***とあるのでゼロ帰無仮説は棄却されており、統計的学的に有意だ。なお係数の帰無仮説は1になる場合もあるし、帰無仮説と係数が十分に離れているかは応用上の意義で決まる。統計学的仮説検定では有意だが、実務的には無意味ということもあるので、注意しよう。

R²と有意性の両方を考慮する

R²が常に無意味と言うわけではない^*1。R²が低いということは、説明変数の変動で従属変数の変動をほとんど説明できないと言うことになる。上の例でもxとyに強い相関があると言われたら、やはり大きな違和感がある（と思う）。

p値とR²の二つの統計量があるわけで、形容詞も二つを組み合わせよう。共通見解があるわけではないが、R²は低いが統計的に有意である場合は「弱い相関がある」と表現しよう。「相関はあるが、予測力、説明力は低い」ともっと具体的に言うのもありだ。

*1R²が低いと欠落変数バイアスが大きくなる（係数がすぐひっくり返る）と言う話もある。ただし、具体的に何が欠落しているのか指摘しろと言う話なるので重視はされていない。