まとめ：「社会的インパクト評価をしない10の理由〜代わりに何をすべきか」

Stanford Social Inovation Review 2018 Summer の記事 "Ten Reasons Not to Measure Impact—and What to Do Instead"（社会的インパクト評価をしない10の理由〜代わりに何をすべきか）を読んでまとめる機会があったので共有（英語の理解不足があったら、すみません）。
書いたのは、Inovations for Poverty Action という団体の人で、世界の貧困対策の評価と研究を専門にしているよう。2002年時点で、こんな団体が設立されているとは…

Innovations for Poverty Action (IPA) is a research and policy nonprofit that discovers and promotes effective solutions to global poverty problems. IPA brings together researchers and decision-makers to design, rigorously evaluate, and refine these solutions and their applications, ensuring that the evidence created is used to improve the lives of the world’s poor.
※ 同団体 about ページより

そもそも、、、社会的インパクト評価とは。おさらい。

社会的インパクト評価とは、短期・長期の変化を含め、事業や活動の結果として生じた社 会的・環境的な変化、便益、学びその他効果を定量的・定性的に把握し、事業や活動につい て価値判断を加えること。
※ 社会的インパクトとは「社会的インパクト評価イニシアチブ」より

記事では、社会的インパクト評価の活用や実施の目的として、説明責任(accountability)、 学習(learning)、改善(improvements)を挙げている。その上で、適切に社会的インパクト評価が行われるためには、事業者は、適時かつ適切に、組織の意思決定をサポートし、説明責任を果たしうるデータが収集される仕組みと、それらを有効活用する戦略を立てる必要があるとしている。

これも主題ではないけど、、、ランダム化比較試験（Randomized Controlled Trial:RCT）とは。

教育効果の分析や政策決定の話で、日本でも聞くことが増えたRCT。記事では、インパクト評価においては、RCT必須でしょ！という印象でした。書き手の意思が強そうですが、きちんとサイエンスするならそうですよね。ランダム化比較試験については、以下の記事がわかりやすかった。
朝日新聞デジタル「ランダム化比較試験」を知っていますか？
同じく、教育分野での活用について、気になった記事。
サルタックの教育ブログ これからの「エビデンスに基づく教育」の話をしよう（２）：RCTはどこまで「理想的」か

本題：社会的インパクト評価を行わない 10 の理由

① アプローチする問いが間違っている。
事業を評価・説明する際、以下のような問いに答えることは大事だけど、インパクト評価は、それにそのまま答えるものではない。
・当初想定した対象者に、サービスを届けることができているか。
・提供しているサービスに、十分なニーズがあるか。 
② 事業のデザイン（program design）が未成熟である。
インパクト評価の前には、必ず theory of change が十分に検証されている必要がある。
③ 事業の実装（program implementation）が未成熟である。
④ 遅すぎる。
事業がすでにスケールし、これ以上の拡大が見込めないようなフェーズ。RCTできない。
⑤ リソースが限られている。
評価にかけられるリソースが少なすぎる。また、事業自体の規模がちいさく十分なデータが集まらないことも。
⑥ 評価に大きく関わる測定困難な間接的効果がある。
⑦ 事業環境が安定していない。
災害支援など、事業の緊急性が高いときなど。
⑧ 事業の実装レイヤーが高いレベルにある。
アドボカシー活動は、RCTや社会的インパクト評価が適用できない。
⑨ すでに答えを知っている。
他の研究や評価などから、すでにその事業の評価が立証できる場合もある。
⑩ 一般化された知見を得られない。
個人的には、これが一番大事な気がしました。「事業がうまくいっているか」を評価するだけでなく、「なぜうまくっているか」を評価するものでなければならない。この「なぜ」に対して、他にも適用しうる一般的な知見が得られないようなインパクト評価には、実施する価値が十分にあるとは言えない。スケールの可能性が低い事業や、極端に特殊な環境・受益者を対象に行われる事業、単発で終わるような事業は、評価への投資に値するとは言えない。

考えたこと

これをネタに、NPO業界の先輩方とディスカッションできたのですが、みなさん共通していたのは、「いつ、どのような事業に対して、インパクト評価が有効か」ということ。インパクト評価の成り立ち自体が、パブリックな事業や大口funderへの説明責任から来ているものだし、この記事のレベルで、インパクト評価を実践するには、数千万から億単位のプロジェクトでないと、厳しいのではと…と思う。立ち上げ期のリーンにやっていく事業を評価するものではない。事業評価が適切におこなれるのは良いことだけど、意味のない評価にリソースが割かれるのは、もったいない。

eboardの事業は、様々な環境の子が家庭で無料で学べた！というインパクト」から、不登校や困窮世帯向けの学習支援の現場で利用してもらうとこまで、成果の幅が広く浅い。現場での成果（子ども達の変化）は、あくまで現場にいる先生や子ども達の成果であって、eboardの成果ではない。その寄与度をうまく定量的に測っていかねばです。

The header image is from flickr Innov8social