学部生が Google/Microsoft Forms を用いて簡単にサーベイ実験をするための TIPS
サーベイ実験（Survey Experiment）は、特定の仮説や研究質問を検証するために、調査と実験の方法を組み合わせた研究手法です。この手法では、通常、アンケートや質問紙を用いてデータを収集し、特定の変数（例えば、態度、意見、行動など）に対する参加者の反応を測定します。サーベイ実験の特徴的な要素は、ランダム化比較試験のフレームワークを援用し、参加者に対する「介入」や「処置」を含むことです。この介入は、参加者の反応に影響を与えると仮定され、その効果を検証するために使用されます。
サーベイ実験は、社会科学、心理学、市場調査など多くの分野で用いられ、特定の条件下での人々の行動や態度の変化を理解するための有効な手段となっています。
ここでは、Google Forms や Microsoft Formsを使って、ランダム化比較試験（RCTs）の枠組みを援用した簡単なサーベイ実験を、学部生でも無料かつ手軽に実践するためのTIPSを紹介します。Qualtrics や SurveyMonkey などを使用せずとも、無料で使える Google/Microsoft Forms と Google Drive + DriveToWeb または GitHub などを用いて、全て無料で行うことができるので、ゼミの研究などでも大いに活用できます。
1. サーベイ実験の設計
この説明文では『赤ちゃんを見ると、人はリスク回避的になる』という仮説を検証するためのサーベイ実験を例に、解説をします。
具体的には、① 赤ちゃんを見るとリスク回避的になるのか？また、② どのような人にその効果は現れるのか？さらに、③ なぜそのような効果が現れるのか？の3つを検証可能なサーベイ実験の例を用いて説明します。
コントロール項目/交互作用項目の聞き取り
アンケート回答者の属性や性格特性などを聞き取りします。ここで聞く項目は、対照群・介入群で共通となります。これらは、個々人の特性をコントロールした場合の介入効果を見たり、また、介入効果の交互作用（介入効果が何によって調整されるか）を見たりするのに使うことができます。
「赤ちゃんを見るとリスク回避的になるのか」の例では、性別、年齢、子供や年下の兄弟姉妹の有無、BIG 5性格特性（開放性、誠実性、外向性、協調性、神経症的傾向）など質問すると良いかもしれません。これらは、赤ちゃんの写真を見ることの心理的な影響や、リスク回避的な態度に影響を与える可能性があるため、重要な変数です。これは、介入効果（赤ちゃんを見る → リスクの態度が変わる）が、個人的な性質の差をコントロールしても成立するのか（コントロール項目）、および、介入効果がどのような性質の人に顕著なのか（介入の交互作用）の検証のために用いられます。
介入
メインとなる介入（処置）を行います。検証したい因果効果の「因」についての処置となります。これは、異なる文章（シナリオ）を読ませたり、異なる画像を見せたり、異なる経験を想起させたり、リサーチクエスチョンによって様々ですが、対照群と介入群で異なる処置を回答者に施します。
「赤ちゃん」の例では、参加者に赤ん坊の画像（介入群）または中立的な画像（対照群: 例えば、無機質なオブジェクトの画像）を見せます。これにより、画像による回答者の感情誘導を行います。
介入の効果をチェック（manipulation check）
介入が適切に行われたことを確認するための質問を行います。これに関しては順序は 4. 5. の後でも構いません。適切な感情誘導が行われているか、きちんと写真やシナリオを見たのか、介入が意図したことを理解しているのか、などを聞き取りします。
「赤ちゃん」の例では、「先ほどの写真の赤ちゃんは何をしていましたか？（笑っている、泣いているなど）」や、「写真の背景には何がありましたか？」などを聞くことにより、介入が正しく実施されたことを保証します。また、赤ちゃんを見ることによる感情の変化（例えば、安心感）自体を介入と捉えるのであれば、「安心感」について聞き取りすることで、「赤ちゃんの画像をみた回答者が、中立的な画像を見た回答者よりも確かに安心感を高く感じた」ことを確かめる質問を用意します。
計測項目（アウトカム項目）の聞き取り
検証したい因果効果の「果」について聞き取りをします。これらは、のちに群間で比較することになるメインの項目です。何かへの支払い意思額を尋ねたり、シナリオの中での仮想的な意思決定について尋ねたり、（介入によって影響を受けうる）何かへの態度を尋ねたり、何かの問題を解いてもらいその正答率を得たりと、リサーチクエスチョンによって様々です。
「赤ちゃん」の例では、回答者のリスク回避度を測定するために、『確率50%で1万円を手に入れることができるクジへの支払い意思額』などを尋ねます。この回答金額は、回答者のリスクに対する態度（高い支払い意思額ほどリスク愛好的）を測る指標となります。
媒介項目の聞き取り
仮に介入に効果があったとしたら、次に知りたくなるのは、「なぜそのような介入の効果があったのか」というメカニズムの解明になります。「介入によって、どのような気持ち・態度・行動の変化があったおかげで、アウトカムに違いが生じたのか」を知ると言ってもよいでしょう。介入後の回答者の気持ちや態度や印象の変化などを聞き取りすることで、これらが介入効果をどの程度媒介しているのか、を明らかにすることができます。
「赤ちゃん」の例では、画像を見たときの感情（落ち着いた気持ちになった、懐かしい気持ちになったなど）を7件法などで質問をします。これにより、感情的な反応がリスク回避度にどのような影響を与えるかを理解するための媒介変数として機能します。
注意確認（Attention check）
回答者が調査内容に注意を払っているかどうかを確認することが必要です。「あなたはインターネットを使用したことがありますか。この質問には"いいえ"と答えてください」などという設問を用いて、[はい] と答えた回答を分析から除外する、など多くの方法があります。
この項目に関しては、調査の任意の場所に置いても大丈夫です。後に配置されればされるほど、最後まで調査に集中して回答をした参加者のデータを絞り出すことだできますが、有効サンプルサイズが減ることになります。
2. Google Forms の作成
対照群のフォームを作成
上記の1~6のステップの質問項目を全て作成します。
「赤ちゃん」の例では、対照群用のアンケートには、中立的な画像（無機質なマグカップの写真）を見せることとします。
アンケートフォームの最初に、実験実施者の名前と連絡先、実験の意図、参加に関する注意事項、倫理的配慮事項などを記して、回答者の同意を得ましょう。
アンケートフォームの最後（送信後に表示される画面）には、研究に関する問い合わせ先のメールアドレスなどを記載しましょう。また、「別の回答を送信」リンクは消しておきましょう。
誤字脱字やフォームの不具合がないか、綿密にチェックをして、完全であることを確認してから 次のステップに進みます。
介入群のフォームを作成
介入群のフォームは、完成した対照群のフォームを「複製」する形で作ります。最初から複数のフォームを作らないことがポイントです（対照群と介入群は、介入部分以外は『全く同じ』である必要があるため）。
「赤ちゃん」の例では、介入群用のアンケートでは、赤ん坊の画像を見せます。他の質問項目は対照群の複製したままにします。これで、介入の要素以外は全く同じ2つのフォームが出来上がります。
群が3つ以上あるようなサーベイ実験でも、手順は同様です。まず最初に一つの群のフォームを完全に完成させてから、それを複製する形で他の群のフォームを作りましょう。
URL取得
作成した両方のフォームのURLを取得します。
3. ランダム割付入り口サイトの作成と公開
ランダムジャンプ入り口のHTMLファイル取得
群の数だけ Google Form の URL を手に入れたら、それらにランダム割付するための入り口ページを作ります。JavaScriptで簡単に作成できますが、面倒な方は、私が作っている以下のサイトを利用しましょう。
https://httrksk2.github.io/RandomGen/ にアクセスして、ランダムにアンケート群に割り当てる入り口サイトのHTMLファイルを生成します。このサイトでは、アンケートのURLを入力すると、それらの間でランダムに振り分ける入り口ページとなるHTMLファイルを生成して自動でダウンロードされます。
公開方法
1. においてダウンロードされた HTML ファイルをサイトとして公開するには、「Google Drive + DriveToWeb」または「GitHub」を使用して、生成されたHTMLファイルを公開します。これにより、参加者が訪れると、自動的に対照群か介入群のどちらかのアンケートにランダムに導かれるページのURLを入手できます。
他のランダム割付方法: 上記の1~2のステップが困難である場合は、以下のやや原始的な方法も有効です（ただし若干の印刷費用がかかりますので「無料で」とはいきません）。
群ごとの Google/Microsoft Forms サイトの URL を QRコード化する。
QRコードを、どのサイトも同じ枚数ずつ印刷する。
印刷された QRコードをランダムに混ぜて（Excelのランダム関数などで生成した数値に従うなどして）、配布する。
4. 介入実験の開始
実験開始時刻の記録
実験開始時刻を記録しておきます。これは後でFormのデータを分析する際に、どのデータが実験期間中に収集されたものかを識別するために重要です。
入り口URLの配布
生成された入り口サイトのURLをオンラインで配布するか、QRコードを作成して、講義やセミナーなどでスクリーンに投影し、協力依頼をします。
このようなステップで、無料かつ比較的簡単に、誰でもサーベイ実験を行うことができます。しかしながら当然、集まったデータをどのように分析すれば良いのか（統計分析の手法）、どれほどのサンプルを集めれば良いのか（サンプルサイズ設計）、検証する仮説をどのように立てるのか、など様々な知識がさらに必要になります。さらに、Google/Microsoft Forms はログインを求めない限り、何度も回答ができてしまうので、集まるデータの信頼性については、注意も必要です。そのような欠点がありながらも、学部生でも無料で気軽に実験的手法を体験できることは、とても良い教育機会になると思います。ぜひ一度試してみてください。感想やコメントなどありましたら、ぜひお知らせください。
この記事が気に入ったらサポートをしてみませんか？