社会調査でセンシティブな質問に正直に答えてもらう方法

人々の生活実態を探る一つの有力な方法にアンケート調査があるが、回答が漏洩すると回答者の不利益になりえるセンシティブな質問には、正直に答えてもらえない可能性が指摘される。たとえば、違法薬物を乱用しているかと言う質問に対して、調査員が警察に密告したら取り締まりを受けるので、本当は乱用していても回答者にはそれを否定しておく誘引がある。

しかし、センシティブな質問にもなるべく正直に答えてもらうための手法も開発されており、質問の方法を工夫することでバイアスを下げることができる。自分で社会調査を実施しない人でも、調査結果を参照することは多いであろう。しっかりとした調査設計になっているか評価する必要はあるわけで、センシティブな質問をどう回答してもらうかについても知っておいた方がよい。この目的のための優れたチートペーパー、Blair (2015)^*1を見かけたので、そこで挙げられた項目を雑に紹介したい。なお、項目以外の説明と例は勝手に作った。

1. Survey Administration Protection

イロハだが，回答者が他人の目を気にしないようにするのは大事だ．回答者が特定できるような具体的な情報と質問を分離する，隣で話を聴く人がいないように機密性のある場所で訊く，質問者と回答者の性別や年齢などの属性をあわせる，質問者がいなくても答えられる自己回答方式（self-administration）にしておく．もちろん、回答自体は厳密に保管し漏洩を避ける。

なお，Survey Administration Protectionsと言う英語が名詞 名詞 名詞になっていて気になる．Survey-Administration for Protectionsぐらいの方がよいかも知れない．英語に強い人の意見を求む．

2. Randomized Response

回答者しか分からない乱数を使って回答者が答える質問文を変えることで，回答者が原理的に言質を問われないようにする．昔からあり，何パターンかある．ここはBlair (2015)ではなく，Schrijver (2012)^*2にある2種類を紹介したい．

Unrelated Question — センシティブな質問文と回答の分布が既知の非センシティブを用意して，回答者しか分からない乱数を使って，回答者が答える質問文を変える方法．例えば、質問者に隠して回答者がコインを投げ，表ならば当たり障りがない質問のyes/no，裏ならばセンシティブな質問のyes/noを答えさせる．センシティブ質問は同性愛者であるか否か，非センシティブ質問は誕生月が4月であるか否かなどになる。非センシティブ質問のyesの率pは他の統計から分かるので，回答のyesの率をqとすれば，2q-pをセンシティブな質問のyes率とできる．

Forced Response — 回答者しか分からない乱数を使って，回答者が質問文に回答をするか，yesかnoのどちらか定められた回答をする方法．例えば，質問者に隠して，回答者が6面体サイコロふり，1ならばno，2～5ならばセンシティブな質問のyes/no，6ならばyesを答えるようにする．回答のyesの率をq，センシティブな質問のyesの率をpとすると，q = 1/6 + 4/6*pとなるので，pを算出することができる．

なお、有意性の検定や区間推定に使う標本分散は単純な二項分布のソレにならないので、確率論の演習問題のような計算をして調整する必要がある。

3. List Experiment

サブサンプルごとに選択肢の集合が少し変えて質問をする手法。例えば，タレント剛力彩芽を公然と支持するのがはばかられる社会において，サンプルの半分から(白石麻衣, 松井珠理奈)の中に支持するものがありますか？と聞いてyesの率をp，もう半分から(白石麻衣, 松井珠理奈, 剛力彩芽)の中に支持するものがありますか？と聞いてyesの率をqとし，q-pを剛力彩芽の支持率とする。最近でてきた手法のようで、イスラム過激派への支持を調べたりするのに使っているそうだ。

4. Endorsement Experiment

独裁者を不支持と言うと社会的制裁を受ける人々に，独裁者などの裏書きの影響力を評価する方法．サンプルの半分に「最近の～と言う政策に賛成ですか？」を訊いて賛成率pをとり，残り半分に「…による最近の～と言う政策に賛成ですか？」と訊いて賛成率qをとり，q-pを…への支持率と解釈する．政策の選択には慎重さが必要なようだ．北朝鮮で「金正恩が主導する核開発に支持しますか？」と「核開発に支持しますか？」の差分を取るようなものだが，核開発に反対したらやはり反逆と見なされてしまう気がしなくもない．

人間は喋りたがりな面もあるので(1)だけでもそれなり正直に答えてもらえるようだが、(2)～(4)のどれかを組み合わせることでさらに精度を上げることができる^*3。また、こういう知識があると、センシティブな質問なのに何の工夫がされていない駄目調査になっていないか判断するのに役立つ。ネット界隈には社会調査の結果が自分の信念にあわないと言って困惑し、社会調査自体を否定しだす人々も少なく無いのだが、否定するにも工夫を超える問題があることはしっかり論証して欲しい^*4。

*1Blair (2015) "Survey Methods for Sensitive Topics," Comparative Politics Newsletter, Vol.25(1)

*2Schrijver (2012) "Sample Survey on Sensitive Topics: Investigating Respondents’ Understanding and Trust in Alternative Versions of the Randomized Response Technique," Journal of Research Practice, Vol.8(1)

*3回答者の教育水準によっては意図が理解されずに、混乱を引き起こして逆効果の可能性もあると思う。

*4付随して、社会調査で否定された主張が正しいと言い張る無知に訴える（Appeal to Ignorance）誤謬もよく見かけるが、社会調査の結果を全否定しても使える情報が無くなるだけで、好きな結論を導き出せるわけではない。