社会学の質的調査*1では、仮説が検証できるまで調査対象者を増やしていくと言う説明があり*2、𝕏/Twitterで統計学的に不正だと非難されている。
社会学者がやっていることなので胡散臭く思うわけだが、その非難は的を外している。サンプルサイズを適応的に増やすことが直ちに統計不正になるわけではないし、そもそも質的調査は事例研究に過ぎず、統計解析から普遍的な傾向を示すものではない。またインタビューイを増やすことが、標本調査のサンプルサイズ拡大にあたる行為とも限らない。
1. サンプルサイズの適応的拡大は直ちに不正とは言えない
サンプルサイズの適応的拡大が問題になるのは、調査方法（実験計画）と統計量の計算の前提が一致しないときだ。調査方法（実験計画）を偽った場合に、研究不正となる。サンプルサイズを決めてからデータを取得し、最後に検定を行うのが教科書的な統計的仮説検定で、統計解析ソフトの統計量（p値）の計算もこれを前提としている。だから、サンプルサイズの適応的拡大をすると、p値の計算を誤って不正になりやすい。
取得済みの観測値に応じてサンプルサイズを拡大する場合は、p値の計算方法を変えないといけない。逆に言うと、適応的にサンプルサイズを拡大する実験計画であっても、適切にp値を計算すれば適切な統計解析となり*3、そのような統計解析も行われている*4。
2. 質的調査は全体の傾向を調べてはいない
社会学の質的調査なのだが、確実に概念母集団にあてはまる調査対象から*5、内的・外的に一貫性が保たれているか注意しつつ、具体的かつ詳細な聞き取りを行う*6。サンプリングによって母集団の平均や分散といったパラメーターの推定を行っているわけではなく、エビデンスピラミッドで言うと症例報告にあたる。調査対象に代表性（と調査の言動に再現可能性）があるかは分からないが、具体的かつ詳細な情報を提供するのが目的だ。
全体の傾向を議論するわけではないので、適応的に調査対象者を増やすことで問題を抱えるわけではない。外国人労働者に不法就労をしている同国人の友人がいると聞いて、その人を紹介してもらって追加のインタビューをしても問題は生じない*7。インタビューイを増やすと言っても、同質の人々を増やすかも分からない。外国人労働者にインタビューした後、その雇用主や非外国人労働者にインタビューするようなこともあり得る。
3. 「仮説が検証できたといえるまで」の意味
ただし、非難されている本の一節にも問題がないわけではない。質的調査における「仮説の検証」とは何なのであろうか？
仮説の検証と言うよりは、リサーチ・クエスチョンに関連のある詳しい体験談を聞き出し、ストーリーの記述が出来るようになるのが、質的研究の目標に思える。今福 (2001) は「質的研究のリサーチ・クエスチョンでは，what や how から始まる疑問文が軸となり，仮説検証というよりは現実世界の詳細な記述から仮説生成することが主眼となる」と説明している*8。社会学のインタビュー調査の技法を説明している近藤 (2009) には仮説と言う言葉が用いられていない*9。
調査にあたって研究者は仮説を持っているはずだ。インタビューアがストーリーを何か想像しておかないと上手く質問を構成できない。先行研究で示されているストーリーも仮説になるし、それを検証しているとも言える。しかし、古いストーリーが当てはまらないからと言って、新しいストーリーが構築できるとは限らない。化粧をしないと出世しないから女性は化粧をすると言う仮設を立てて会社員の女性にインタビューをして、出世は望んでいないと言う回答を得たとする。古いストーリーの検証であれば、そこで終わりだ。しかし、娯楽や習慣といった他の理由を掴まなければ新たなストーリーにならない。
非難されている「仮説が検証できたといえるまで」の仮説は、文字通りの意味ではない可能性が高い。文意が掴みづらく、誤解を招いても仕方が無い表現だ。「リサーチ・クエスチョンに関連のある詳しい体験談から、事象を記述できるようになるまで」ぐらいに書いておくべきであった。
4. 質的調査からの主張の普遍性
非難の対象は社会学者なので、非難している人々は、質的調査から普遍的な法則を主張することを問題視しているのだと思う。限られた調査対象者の質的調査しかないときに、断定的な主張をする社会学者もいる。質的調査の結果が少数の事例に過ぎないことは質的調査の従事者も認識している問題なのだが、自らの、もしくは参照している研究の意義を大きく見せたいのか、本当に勘違いしているのか。
なお、特殊例に過ぎない可能性が残るにしろ、質的調査の意義がなくなるわけではない。少数の事例であっても、インタビューイの性質から、典型的であると看做せる場合もある。インタビューイの性質が異なる複数の研究で同一の傾向が示されれば、一般的な傾向である蓋然性は高まる。量的研究であってもサンプリングバイアスから完全に逃れることは困難で、バイアスが残っていないか考えながら受け止めるものだ。質的調査も同様である。さらに、質的研究の結果をもとに量的研究をしてもよいわけだし、量的研究で出てきた疑問が質的研究から解決することもある。
*1質的調査にはインタビューの他に、（調査対象と活動を共にする）参与観察や会話分析もある。インタビューでも、構造化されたもの（i.e. あらかじめ決まった質問を用意し、集計を目的とする面接方式のアンケート調査）は、質的調査に含まれない。
*2木村至聖『歴史と理論からの社会学入門』の記述だそうだ。
社会学だとこういった手法っぽいけど、これで良いんだろうか？ pic.twitter.com/sSBeBIahmr
— ヴォルヴィーノ＠読書垢 (@dokushoa) March 29, 2023
*3Wald (1945) "Sequential Tests of Statistical Hypotheses" The Annals of Mathematical Statistics Vol. 16, No. 2 (Jun., 1945), pp. 117-186
*4丹後 (2011)「臨床試験の適応的デザイン」保健医療科学 ，Vol.60(1), pp.27–32
坂巻・兼清・大和田・松浦・柿爪・高橋・高沢・萩原・森田 (2020)「ベイズ流決定理論を用いる臨床試験：効用とサンプルサイズ設計」計量生物学 Vol.41(1), pp.55–91
*5例えば、海外で働く日本人の調査で、日本国外の日本国籍保有者を枠母集団として調査対象を抽出すると、仕事の都合で外国国籍になった人物を除外することになるが、それはエスニシティーが日本人の人物という概念母集団とずれたサンプリングになる。日本生まれで日本育ちで日本の大学を出て日本で没するたアメリカ国籍の著名研究者もいるので。
*6インタビューイが支離滅裂な話をしていないか、インタビューアが持っている知識で話を理解できるかを、（話を誘導にならず、信頼を損なわない程度に）確認しながら対話を進められる。アンケート調査だと設問ごとの回答が矛盾しており、解釈に悩む場合も出てくるが、そういう事が少ないと考えてよいであろう。
*7狙った回答をするインタビューイを探して、他のインタビューイから聞いた話を隠せば、研究不正になる。
*8今福 (2021)「質的研究を実施するうえで知っておきたい基本理念」薬学教育, Vol.5, pp.1–5
*9近藤 (2009) 「インタビュー調査の技法--現象学的社会学の具体的応用」佛大社会学，Vol.34, pp.1–13
0 コメント:
コメントを投稿