2019年10月10日木曜日

「食べログ3.8問題を検証」のヒストグラムの階級幅は狭すぎるのか?

このエントリーをはてなブックマークに追加
Clip to Evernote
Pocket

人気の口コミ・グルメサイト「食べログ」で「評価3.8以上は年会費を払わなければ3.6に下げられる」のでは無いかという噂が広まっているのだが、これを店の評価点の分布から検証したエントリー「食べログ3.8問題を検証」が話題になっていた。しかし、「ヒストグラムのビンが細くて、いびつな分布に見えているだけ」と言う批判が付いている。しかし、それを考慮しても異常値に思える。

階級幅(ビン)を小さくした弊害で、偶然で特定の階級の値が異常な値をとる確率が高くなっているとは言え、東京と大阪のサンプル両方で似たような傾向がある。東京のサンプルでも大阪のサンプルでも、3.6のところがその前後と比較してダブルスコア以上の値になっているし、大阪のサンプルでは明確ではないが東京のサンプルでは3.8のところで綺麗に落ち込んでいる。

もちろん分析への疑義は、基本、分析者が晴らすべきで、本当に歪な分布になっているか確認するために、もう少し集計を工夫した方がよい。まずは、階級幅を0.1単位ぐらいにして見て欲しい。次に、ちょっと手間かも知れないが、ノンパラメトリック手法で確率密度関数の推定を行えば*1、図がなだらかになるし文句も出づらくなる。

追記(2019/10/14 10:51):東北大学の黒木氏がビンを広くしてプロットしなおしていた。レビュー数が多ければ、ビンを広くとっても断続が観測できる。レビューワーがつける評価の分布は未知だが、その分布に平均や分散はあるだろうから、評価のウェイト付き平均値であるお店の点数は、無操作であれば正規分布に漸近する性質がある。ゆえに、一定の評価数があるサブサンプルで正規性検定を棄却すれば、大きな操作があるのか示せるのだが、見た目、おそらく棄却する。お店の点数は、レビューワーがつけた評価のウェイト付き集計を大きく操作している蓋然性が高い。

*1Rでカーネル密度推定をするだけであれば、xを観測値として r_d <- density(x, bw=sd(x)*length(x)^(-1/5)); plot(r_d) とするだけである。なお、バンド幅の設定はLi and Racine (2007)のp.66の推奨値である。

0 コメント:

コメントを投稿