ネットリサーチとレガシーリサーチ～固定観念と迷信に惑わされるな！

Tweet

「internet watch」から、何言ってんだよ。。。という調査に関する記事が。

調査手法としてのインターネットリサーチと、レガシーな郵送調査・対面調査との比較についての記事だ。ここではインターネットリサーチ・郵送調査の回答者は無作為抽出または登録パネル(記事では「モニター」と表現)、そして対面調査の回答者は無作為抽出だ(記事及びニュースソースではこれを「従来型調査」と表現)。
internet watchの記事では

報告書では、異なる結果が出る要因として、「回答モニターとして登録する」というプロセスを経ることで生じる「回答者自身の心理的特性の違い」が最も影響が大きいと推測している。また、実験調査の結果から「インターネット調査は、現段階では、従来型調査の代用としてなんの留保もなくそのまま用いることは不適切」と指摘している。

と報じている。
そしてこのニュースソースは「労働政策研究・研修機構」の 『インターネット調査は社会調査に利用できるか ― 実験調査による検証結果 ―』。このページにあるサマリーを読むのが分かりやすくていいだろう。

Sponsored Link

ザクっとまとめちゃうと、「従来型調査とインターネットリサーチ・郵送調査との間に回答結果の傾向に有意な差が見られた。その差はインターネットリサーチと郵送調査ともに共通する傾向であった。」ってことだ。つまり、パネル化された回答者による回答であることが、その差を生んだとしている。
その上で、この報告書は、

今回の結果をみる限り、インターネット調査は、現段階では、従来型調査の代用として何の留保もなくそのまま用いることは不適切である。

と言い切っている。
これ書いた人は馬鹿か？それとも意図的？パネル調査であること(つまり無作為抽出でないこと)が問題だとすれば、郵送調査も同様に問題があるということだ。しかし、インターネットリサーチを限定的に批判しているんだな。この辺は上記サマリーの2ページ目に書かれている。どうやらインターネットリサーチを受け入れたくないらしい。それは保守的な社会に対するアンチテーゼ的な回答が現れる率がインターネットリサーチで高くなる傾向があり、故にインターネットリサーチを認めたくないらしい。バカ役人の見本みたいなもんだな。

ここで言われている「従来型調査」が正しく、それと異なる結果が出る調査手法については信頼性がない、と結論付けているんだ。

ズバリ言おう。そもそもその「従来型調査」が正しいという保証なんかないんだ。これまでは「従来型調査」しか存在しなかったので、それを信じるしかなかっただけだ(検証する方法もないし)。調査媒体がインターネットであること、回答者がパネル化されていることなどは、調査結果のバイアスとなるのは当然だ(今更言及するほどのことでもない)。
しかし、「従来型調査」自体にもバイアスは当然あるんだ。「対面調査では答えにくいことも、パソコンにテキストを打ち込むネットリサーチでは自然に正直に書ける」ということは、すでに広く認知されていることだ。
そもそも「対面調査に応じる」層から回答を集めるって時点ですでに、「従来型調査」から母集団の代表性が失われているんだ。対面調査と非対面調査のそれぞれにどんなバイアスがかかるか、これを測定するんなら意味のある調査なんだけどね。

これまで行われてきたレガシーリサーチを盲目的に正しいと信じ、それと異なる傾向(保守・またはマス・大衆と表現される層と逆の傾向)の出やすいインターネットリサーチを誤りとする。しかも、郵送調査には触れず、インターネットリサーチのみを排他的に扱うとは！まさしく天動説の世界だ。

世の中のリサーチ(主にアンケート)に関わる皆さん、そしてリサーチ結果によって施策を決める人(マーケッターとか)、こんな寝ぼけた報告書に目を眩まされてはいけませんよ。目的と状況に応じて調査手法が選ばれ、それぞれが必然的に持つバイアスを理解した上で実査が行われ、分析がなされなければいけないんだな。

Tweet