質の高いエビデンスとは？

偉い雰囲気の人の前でプレゼンをしました。すると、

「エビデンスは？」

こんな感じで詰められた経験がある方も多いのでは？

「エビデンス」は「根拠」とか「証拠」と訳されることが多いでしょうか。要するに

「それって何か証拠でもあるの？」

と尋ねられているわけです。エビデンスとは根拠、ここまではOKですよね？問題はここからです。

エビデンスに関わる懸念点

単刀直入に申し上げると

 「エビデンスの質」

が懸念されます。

エビデンスの質とは

まずエビデンスは科学の現場以外でも何となく使われている用語です。

下のシチュエーションを想像してください。

あなたは友人Aさんに、最近使っているシャンプーをお勧めしています。「そのシャンプー、どこが良いの？」友人Aさんは訊きます。あなたは答えます。「このシャンプーは、あの川口春奈が使っているシャンプーなんだよ。これオススメだよ。」

どうですか？上のシチュエーションにおいて、あなたは「川口春奈さんが使っているシャンプー」という事実かよく分からない情報を使って、友人Aさんを説得しようとしています。本当に川口さんが使っているかどうかも分からないのですが、「川口春奈が使っている」という情報こそが、いわゆるエビデンスになっています。

下のシチュエーションではどうでしょう？

あなたはシャンプーを買おうと思っています。権威のある学術雑誌でに発表された多くの科学研究を調べてみると、髪にダメージの少ないシャンプーは、〇〇と□□という成分が入っていることが特徴のようです。

どうでしょうか？先程の川口春奈さんを利用したエビデンスはいわば「ゆるい感じの日常会話エビデンス」である一方、かなりお堅い印象ですが、後者は結構しっかりした科学的エビデンスに聞こえます。これらはあくまで例です。何が言いたいかというと、巷では様々な情報が「エビデンス」として活用されているってことです。

ですが我々も研究者の端くれ。ゆるいエビデンスは友達同士の会話で使ったら良いと思いますが、本気モードの時はやっぱりしっかりした科学的エビデンスにこだわりたいですね。実際皆さんもそうじゃないですか？自分にとって大事な決断をする時は、科学的エビデンスが欲しいと思うのは自然なことだと思います。

エビデンスの質の判断基準

さて、巷では様々な情報が「エビデンス」として活用されているけれども「本気の決断は科学的エビデンスの助けを借りてみよう！」という話でした。ここで勘の良い人は下のような疑問を持つのではないでしょうか。

「エビデンスの質に良し悪しはあるのでしょうか？」

はい、エビデンスには良質のものと必ずしもそうでないものが存在します。もっと正確にいうと、エビデンスの質を評価する考え方が科学コミュニティにはあります。ここではそのエビデンスの質の判断基準をご紹介します。

科学的エビデンスのピラミッド

下の図はMurad et al. (2016)に修正を加えた「科学的エビデンスのピラミッド」です。簡単にいうと、エビデンスの質を研究のデザインによって判断しようという考え方です。ある情報がピラミッドの上のデザインによって検証されればされるほど、バイアスが小さいと判断されます。すなわち、良質なエビデンスであると考えられるわけです。

Murad, M. H., Asi, N., Alsawas, M., & Alahdab, F. (2016). New evidence pyramid. BMJ Evidence-Based Medicine, 21(4), 125-127.

さて、ここからは具体例を使って、エビデンスの質のイメージを掴んでいきましょう。便宜的に取り扱うトピックは、「多様性」と「パフォーマンス」の関係にしましょう。

こんな局面をイメージしてください。

あなたの同僚やチームメートが言います。「多様性は様々なパフォーマンスを向上させるのだ」。あなたは「何か根拠でもあるの？」と内心思っています。あなたの同僚やチームメートは、以下のエビデンスを見せてきました。

W杯優勝レベルエビデンス（無作為割付比較試験：RCT）

「無作為割付比較試験」とは、研究対象をランダムに複数のグループに分けて、多様性（興味のある要因）がホントにパフォーマンス（興味のあるゴール）に対して影響力を持つのか調べる方法です。なんでランダムに分けるかというと、ランダムに分けることで個人的な特性（例えば年齢とか性別とか、もっというと考え方とかまで）が、複数のグループに満遍なく振り分けられるからです。

例えば、実験に参加してくれる方々をランダムに２つのグループに分けましょう。グループAには「多様性を尊重するためのアクティビティ」を行ってもらいます（これを実験群と呼んだりします）。グループBには「多様性の尊重とは関係ないアクティビティ」を行ってもらいます（これをコントロール群と呼んだりします）。アクティビティを終えてから、被験者の方々に、同じタスクを行ってもらい、そのパフォーマンスをグループ間で比較します。

その結果、もし多様性アクティビティを行ったグループAがグループBよりも高いパフォーマンスを示したら、「ほう、多様性はパフォーマンス向上に一役買うかもね。そしてエビデンスも良質ですね。」となるわけです。このような研究手法で発見されたエビデンスこそがW杯優勝レベルの良質エビデンスと言えます。

次に優秀なエビデンスは、、、

アジア杯優勝レベルエビデンス（コホート研究）

「コホート研究」とは、現時点である要因（多様性）に（1）当てはまる人達と（2）当てはまらない人達を一定期間追跡することで、興味のあるゴール（パフォーマンス）に影響があるか調べる方法です（前向きコホートと呼んだりします）。

例えば、あるスポーツリーグに所属するチームの中には、様々な国の選手が所属しているチームと単一民族によって選手ロスターが構成されているチームがあったとしましょう。そのようなリーグで、（1）様々なバックグラウンドを持つチームメートとプレーした経験のある選手と（2）文化的類似性のあるチームメートとのみプレーした経験のある選手という２つのグループを作ります。最初のグループは選手同士で様々な文化の相違を尊重しながら競技した経験があり、後者は比較的文化の多様性が小さい中で競技経験を重ねてきた選手たちと仮定するわけです。

この2つのグループを一定期間追跡し、パフォーマンスに差が出るのかを検証します。その結果、（1）様々なバックグラウンドを持つチームメートとプレーした経験のある選手のパフォーマンスが、別のグループの選手よりも向上したとなると、「ほう、選手の多様性に関する経験は、スポーツのパフォーマンス向上に一役買うかもね。そしてエビデンスも良質ですね。」となるわけです。

※後ろ向きコホート研究もありますが、ここでは割愛。でも後ろ向きの方がむしろよく行われます。前向きは時間も費用も負担大だからです。

日本代表レベルエビデンス（ケースコントロール研究）

「ケースコントロール研究」とは、ゴールとなる要因から研究をスタートして、過去を遡る後ろ向きの研究手法です。上記の例を使って説明すると、現時点で高いパフォーマンス（ゴールとなる要因）を発揮するグループと、低いパフォーマンスのグループを研究対象として、彼らの過去を遡り、どのような違いがあるか調べる方法です。

この手法の良いところは、比較的容易に研究プロジェクトを進めることができます。特に医学系では、患者さんの過去のデータに簡単にアクセスできるのも吉ですね。一方で、アンケートなどで過去の経験などを尋ねる場合、被験者は自分の過去を思い出して回答することになるため、バイアスが大きいという指摘もあります。

何はともあれ、こういったケースコントロール研究において、高パフォーマンスグループの人達が、低パフォーマンスグループの人達に比べて、より高確率で様々なバックグラウンドの人達を関わった経験があるという結果が出た場合、「ほう、多様性に関する経験は、高パフォーマンスに寄与するかもね。そしてエビデンスも良質ですね。」となるわけです。

次はクロスセクショナル・アンケート調査です。

プロ１部レベルエビデンス（クロスセクショナル・アンケート研究）

2021年現在、スポーツマネジメントやスポーツ心理学では、この手法による調査研究が圧倒的に多いです。実験室の外で研究が望まれる分野であったり、データが取りづらい分野だったり、社会科学研究者の研究費が少ないとか、まぁ理由は様々あります。とは言っても、プロ一部レベルエビデンスなので、この手法を用いてどんどん知の蓄積に取り組んで欲しいです。

さて「クロスセクショナル・アンケート研究」とは、ある一時点における被験者の特性を測定し検討を行う研究手法です。上記のハイクオリティ手法とは異なり、実験群とコントロール群を用意することもなければ、将来に渡って追跡することや、過去を遡ることもしません。今この時の状況を測定して考察するのです。

例えば、被験者全体のパフォーマンスは７段階測定で5.45と比較的高い値を示しているとか、現在属しているチームを構成するチームメイトの国籍数は平均3.3であるなどなど。もちろんこの2つの要因の相関を調べることはできます。しかし、因果関係について踏み込むことを苦手とする研究手法です。つまり、

「多様性が上がればパフォーマンスが上がる」とかは言えないんですね。というのも、「パフォーマンスが上がったから多様性が上がった」可能性を否定できないからです。

クロスセクショナル研究の良いところは、簡単にできる点です。とは言っても、しっかりと母集団を特定し、適当なサンプリングを行う必要があることは言うまでもありません！さて、ここまでが科学研究という感じです。ここから下は特に詳細な研究デザインなどが求められるわけではありません。

プロ２部レベル（ケースレポート・ケーススタディー）

プロ３部レベル（専門家＆評論家の意見）

部活レベル（個人的な体験談）

かなり長くなってきたので割愛しますが、「専門家の意見」や「個人的な体験談」は、伝播力という意味では非常にパワフルです。「生の言葉」はいつでも心に刺さるものです。しかし、それが質の高い科学的エビデンスとは限りません。

研究者も専門家と表現されることが多いですが、厳密には違うのかなと感じています。まぁここでは研究者に限定して話を進めます。研究者であればインターネットに転がっている記事を適当に読んで「あーしましょう、こーしましょう」じゃなく、質の高い科学的エビデンスにアクセスし（要するに論文読んだり、実際に研究するってことです）、その上で生の言葉で伝えることが必要です。

最後に

スポーツマネジメントの世界では、ありがたいことに僕の話を真剣に聞いてくれる方々が世界にたくさんいらっしゃいます。でも僕も適当なことを言っている可能性があるので気をつけてください。僕の場合、自信が無い時は「分からないですけど、、、」とか「個人的には、、、」とか枕詞をつけるようにしていますが、公で話す時は「言い切ってください」と注意されます。一生懸命研究している方々は共感してくれると思いますが、そこには「言い切ることのムズムズ感」があります。自分でいうのもアレですが、このムズムズ感は良いことだと思っているし、この気持ちを忘れずに進んでいこうと思います。

そんな僕ですが、川口春奈さんにシャンプー勧められたら買ってしまうかもしれませんけどね！長くなりましたが、最後までありがとうございました！