オンライン実験の信頼性に関するまとめ（心理学・音声学・言語学）
【試し撮りも兼ねて、Youtubeにも解説動画をUPしました】
https://www.youtube.com/watch?v=zat7b3zfy9U&feature=youtu.be
1. オンライン実験の信頼性について
今のこの予期せぬ社会的状況の中で、「思ったように実験ができない！」「このままでは卒論、修論、博論が間に合わないかもしれない！」と悩んでいる学生・研究者のみなさまも多いのではないでしょうか？特に博士課程の人の中には気が気でない人も少なくないかもしれません（みんなそうかも知れませんが）。
でも、もしかしたら、今の状況こそオンライン実験が有効かもしれません。私はアメリカで長く研究生活を送っていましたから、多くの日本語のデータを取るためには、どうしてもオンライン実験が必要になり、自分の研究のテーマの一つとしてオンライン実験を早くから取り入れてきました。
なによりオンライン実験は楽ちんです。寝てる間にデータが集まります。ラボで対面で行う実験もいいですが、オンライン実験も良いですよ。でも、「オンライン実験って、参加者が向こう側でさぼってるんじゃないの？データは信頼できるの？」と心配される方も少なくないかもしれません。そんな心配をされている方に（そんな心配を査読者に突っ込まれるかも知れないと心配な方に）、オンライン実験でも信頼性のあるデータが取れるという論文をいくつか紹介致します。
論文PDFへのリンクも張っていますが、これらのファイルは著者自身が公開しているPDFへのリンクです。
Reips, U.-D. (2002). Standards for Internet-based experimenting. Experimental Psychology, 49 (4), 243-256.
心理学では割と早くオンライン実験が取り入れられて、スタンダードが確立していたんですね。2002年で、少し古いですが、オンライン実験を行う際の注意事項がまとめられています。
同じ著者によるこちらの論文もどうぞ：
音声学でも、オンライン実験でもラボ実験と同じような結果がでるという報告があります。
Alan, Y & Lee, H. (2014) The stability of perceptual compensation for coarticulation within and across individuals. A cross-validation study. Journal of the Acoustical Society of America 136(1): 382-388.
http://home.uchicago.edu/~aclyu/papers/yu_stability_2014.pdf
Chodroff, E. and Wilson, C. (2014). Burst spectrum as a cue for the stop voicing contrast in American English. The Journal of the Acoustical Society of America, 136(5), 2762-2772.
オンラインで音声を提示できるシステムがあれば、安心してオンライン実験を行っても良いのでは？と思われる結論ですね。
こちらは言語学の実験：
Sprouse, Jon. 2011. A validation of Amazon Mechanical Turk for the collection of acceptability judgments in linguistic theory. Behavior Research Methods 43(1): 155-167.
[https://sprouse.uconn.edu/papers/Sprouse%202011a.pdf]
やはりオンライン実験は信頼ができる、という結論です。
2．どこで参加者を集めるの？
あとは実験を作ったはいいけど、参加者はどうやって集めるの？という問題が出てきます。私自身は、まずは友達のSNSで拡散してもらいます。割とみんな楽しそうにやってくれます。ただし、謝金を払えないという前提の場合、あまり長い実験は避けましょう。っていうか、飽きられて、途中で辞める人が続出してしまいます。オンライン実験だと向こう側で好意で実験をやってくれている人がいる、という事実を忘れがちです。感謝をもって実験を作成しましょう。また、英語のサイトですが：
というサイトがオンライン実験をまとめてくれています。ここに載せてもらうだけで結構な参加者が集まります。載せてもらう方法は、管理人の先生に丁寧にメールをするだけです。
ちなみに、私が行っているポケモン実験では、とあるポケモンのファンサイトで紹介してもらったことがあり、一晩で1000人を超える参加者がありました。始めは誰かが勝手にリンクを張ってくれたのですが、今では管理人様と直接やりとりをさせて頂いております。これに慣れると、他の実験を行うのが馬鹿らしくなります。
多少お金を払ってもいいから、一気に参加者を集めることはできないの？という話しになるかも知れません。この点に関しまして、Twitterでご助言を頂きましたので（https://twitter.com/yoshi_mjm/status/1251139069339299847）、リンクをまとめておきます。一部ご発言を引用させて頂くと「Prolific という選択肢もありますね。Prolific 良いです。作業単価の最低額も決められてるし，クオリティも高め。」だそうです。
私自身はまだ実際に使用したことがないのですが、CrowdWorksで心理学実験を行っている先生もいらっしゃるようです。CrowdWorksでのデータの信頼性に関してはこちらの論文を参照ください。
こちらの論文はProlificの解説論文っぽいですね。
https://www.sciencedirect.com/science/article/pii/S2214635017300989
3．どうやって実験を作成するの？
では、実際にはどんなプログラムを使ってオンライン実験を組めば良いのでしょう？アメリカの大学ではQualtricsというソフトがメジャーなようですが、日本の大学では契約しているところはあまりなさそうです（慶應は多分やっていない…）。
でも、Google formでも実験は作れますし、有料ですが、SurveyMonkeyという選択肢もあります。後者は、Buy responsesという機能で実験参加者を集めてくれます。但し、割と高いです。研究費が余っている人にお勧めの機能です。（院生のみなさんは、アドバイザーに研究費が使えないか聞いてみましょう。どうせ今年度は出張とかあんまりできなそうだし…（涙））
また、始めてオンライン実験に挑戦する！という人は、かならず知り合いに内容をチェックしてもらいましょう。普段、対面実験になれているという人は思わぬ落とし穴があるかもしれません。
4．最後に
また、これは提案なのですが、この状況が長く続くのであれば、日本語の似たようなサイトを作って、お互い助け合うというのはどうでしょう？あるウェブサイトを作っておいて、自分が実験を載せたら、他の人の実験も積極的に参加する。または友人に拡散してもらう。お互い助け合いながら、今の状況にあっても研究を停滞させない道を探りませんか？もし興味があれば、簡単なものでよければ、私がまとめ役をやっても構いません。ガイドラインは手探りで作っていかなければなりませんが…
また、大学それぞれの倫理委員会の基準があるでしょうから、明日からオンライン実験を始める！という訳にはいかないかもしれません。オンライン実験に興味がある人は、オンライン実験用の同意書を倫理委員会に承認してもらう必要があるかもしれません。そこら辺は、研究者それぞれが責任を持って研究を続けるしかありませんね。
さささっと思いつくままに書いてしまったので、誤字脱字などはご容赦ください。少しずつ時間があるときに推敲していきます。
この記事が気に入ったらサポートをしてみませんか？