【研究の研究】 オンラインで性格調査のデータ収集する際のチェックポイント

コロナウイルスCOVID-19パンデミックの影響で, 私たちの研究スタイルも変化を迫られています. COVID-19パンデミック以前は, 従来, 性格アンケートや行動研究は, 参加者が研究室を訪れ, 研究者と一緒に実験を行うオンサイト実験が行われてきました.

しかし, ＣＯＶＩＤ-１９は, 感染者がしゃべったり, くしゃみをしたり, 咳をしたりしたときに発生する呼吸器飛沫を介して感染する可能性があります. そのため, 従来の実験スタイルではCOVID-19感染のリスクを高める可能性があり, 今のところ推奨すべきではありません.

実際, 私が訪問研究員をしている研究所でも当面は実験ができず, オンラインで実験を行う指示が出ています.

こんな中, オンライン調査への注目度はCOVID-19パンデミックの前から高まっており, そのようなオンライン調査についてはいくつかのガイドや利点が共有されてきました. 私たちの研究グループでも最近, SurveyMonkeyを利用した性格調査のデータ収集をオンラインで実施しました. 参加者の中には不適切な回答もあり, ある程度の準備をすれば防ぐことができるものもありました [Andrews et al., 2003; Evert et al., 2018; Lefever et al., 2006; Van Mol, 2016].

今後このようなコロナの状況で, よりオンライン調査への需要が高まるでしょう. ここでは, 今後の研究のために, このような実用的なチェックポイントを共有したいと思います.

1. アンケート項目のピアチェック

通常, 学術調査では, オンライン調査に先立ち, アンケートの項目, インフォームドコンセントのための書類を準備し, 所属機関の倫理委員会の許可を得ます.

その後, アンケート項目をSurveyMonkeyのようなオンラインプラットフォームに移します. この際,アンケート項目の複数回のピアチェックをお勧めします. 何度かピアチェックを行っても, 誤字脱字が繰り返し発見されました.

少なくともSurveyMonkeyでは, お試しのチェック機能がありますので同僚に複数回のチェックをもらうのが大事になります.

2. 回答時間を記録しておく

また, 各参加者の回答時間を追跡することも重要です. これはオンラインアンケートのトリッキーな部分でした. 大抵の質問紙での回答では, 場所と時間制限が決まっているため, 常に回答者に終わらせないといけないプレッシャーがかかり時間通り回答してくれます. しかし, オンラインのアンケートではこの通りにはいきません.

SurveyMonkeyでは, 参加者がアンケートサイトを開いてアンケートを完了したときの回答の開始と終了時間を追跡することができます. しかし, 参加者の中には, アンケートを完了する前にアンケートサイトを閉じてしまい, 数日後にアンケートを完了してしまう人もいます. このような回答は, 回答の開始と終了時間から検出することができます. 我々の場合は, そのような回答を分析から除外しました.

3. 各参加者がどのデバイスを使用しているかを記録しておく

私たちは,アンケート用のリンクから回答を集めました（サンプルページを参照. 参加者が研究者の前で研究室にいるときと自宅にいるときでは, アンケートへの回答が異なることは想像に難くありません. ある研究では, オンラインとオフラインのサンプルでは異なる結果が得られたことが示されています.

また, SurveyMonkeyはデバイスの種類を考慮していますが, PC, スマートフォン, タブレットなどのデバイスの種類によっても結果が異なることがあります[Zhang et al., 2017]. デバイスの混同を考慮することをお勧めします. 参加者にPC経由のみで回答してもらい, 他のデバイスでの回答は分析から除外するのが望ましいかもしれません. ただ, 日本の学生は, PCの保有率が低いという話もありますので, 実際には難しいかもしれません.

4. 適切な回答のための最大/最小の閾値を推定しておく

また, 回答者の中には, 回答時間が短い人もいれば長い人もいて, そのような人は注意深く回答していない可能性があります. そのため, 適切な回答を得るためには, 最大/最小のしきい値を推定することをお勧めします. 例えば, 私たちの場合, 100項目の回答について, 最小閾値を5分, 最大閾値を60分としました. 時間の範囲外の回答は削除しました.

5. 参加者にアンケートリンクを開いたらすぐにアンケートを終了するように指示しておく

前述したように, 参加者の中にはアンケートを完了する前にWebページを閉じてしまった人もいました. この場合, 各参加者の回答時間を正しくカウントすることはできません. そのため, アンケートリンクを開いた直後にアンケートに回答してもらうことを事前にメール等で説明しておくことをお勧めします.

6. 参加者の名前に重複がないか確認しておく

オンラインプラットフォームでは, すでにどのデバイスを使って回答したかを記録しておくことで, 同じ被験者からの回答を防ぐことができます. しかし, 異なるデバイスを使って回答することは可能です. 実際に複数回回答している人がいました.

同一回答者が複数回回答しているかどうかを確認することが良いと思います.また, 複数回回答している場合, 先に回答したものをデータとして使うのか, のちに回答したものを使うのかを事前に明らかにしておくと良いと思います.

7. ストレートラインを除去する

回答項目に全て同じように回答する, もしくはのをストレートラインと呼ぶことがあります. このような回答は, 真剣に回答していない可能性があるので, 省かれます. 

例えば, 強く同意するのみに常に回答するなどです.

8. ダミー質問を入れる

さらに真剣に回答していないものを見つける方法として, 計測したい内容とは別にダミー質問と呼ばれるものを使うことがあります.

例えば, "この回答には, 強く同意するをマークしてください." と書いた質問項目を用意するなどです.

質問数が多い場合は, このダミー質問を入れることで真剣に回答していないデータを除去することができます.

例えば, 私のグループでは, 300項目ほどの質問数に対して50項目に1つの間隔でダミー質問を入れました.

結論

オンライン調査プラットフォームは, 遠隔地からアンケートの回答を収集するための強力なツールです. しかし, どのデバイスを使用するか, どのように回答すべきかを伝えていないと, 参加者に誤解を与えてしまう可能性があります. 近い将来, オンラインアンケートを実施する際に参考になるポイントがあれば幸いです. 

追記

データ共有に関しても, 事前に倫理書類の内容について研究機関と確認する必要があり, ここら辺についても別にnoteを作成予定.

補足情報

これらの作業を多人数に実施する際にはアンケート専門の会社に委託するのも一つです. 実際にやり取りをしたことがある企業を列挙しておきます.

- クロス・マーケティング

- マクロミル

参考文献

- Andrews, D., Nonnecke, B., and Preece, J. (2003) Electronic survey methodology: A case study in reaching hard to involve Internet Users. International Journal of Human-Computer Interaction. 16, 2, 185–210.
- Evert, J.F., Huibers, L., Christensen, Bo., and Christensen, M.B. (2018) Paper- or Web-Based Questionnaire Invitations as a Method for Data Collection: Cross-Sectional Comparative Study of Differences in Response Rate, Completeness of Data, and Financial Cost. Journal of Medical Internet Research. 20:1, e24. DOI:10.2196/jmir.8353
- Lefever, S., Dal, M., and Matthíasdóttir A., (2006) Online data collection in academic research: advantages and limitations. British Journal of Educational Technology. 38: 4, 574–82. DOI: 10.1111/j.1467–8535.2006.00638.x
- Van Mol, C., (2017) Improving web survey efficiency: the impact of an extra reminder and reminder content on web survey response. International Journal of Social Research Methodology, 20:4, 317–327, DOI: 10.1080/13645579.2016.1185255
- Zhang et al., (2017) Survey method matters: Online/offline questionnaires and face-to-face or telephone interviews differ. Computers in Human Behavior. 71, 172–80. DOI: 10.1016/j.chb.2017.02.006