NPOにおけるインパクトの評価について
（9/29 加筆・編集済）
今日は、私がこの夏にインドのNPOで行った事業によるインパクトの評価について経験をシェアしていきたい。
NPOによる事業評価については、まだまだ国内で多くの事例が語られているとは言い難く、自分の経験から話せることもあるのではないかと思っている。
具体的に何を評価するのか？
評価の意義について述べる前に、そもそも事業によるインパクトの評価とは何を意味するのか、から始めたい。
簡単にいえば、自分たちが行っている事業がどれだけ社会にインパクトを生んでいるのかを様々な手法を用いて評価することを指す。
しかしこれだけではなかなかわかりづらいと思うので、私の働いていたNPOにおける評価手法を紹介したい。
注釈：「インパクト評価」という言葉について
国際開発の分野では、「インパクト評価」という言葉はより厳密に用いられている。たとえば、JICAではインパクト評価について、
” インパクトとは「事業によってもたらされた（=事業に帰することのできる）変化」を指し、一般的な事業評価において用いられているインパクト（「開発課題への貢献度合い」や「正負の副次的効果」）とは必ずしも一致しない。 ”
としている。
今回の記事でお話するのは厳密な「インパクト評価」ではなく、上記で言う「一般的な事業評価」に近いものなので、その点をご留意いただきたい。
なお、私の働いていたNPOではそのような事業評価とは別に、米国の大学機関と連携したRCTによる精緻なインパクト評価（counterfactualと比較した際のインパクト評価）にも取り組んでいるのだが、それは専門的な内容になるため、今回はいわゆる広義のインパクト評価について紹介する。
まず、私が働いていたインドの教育系NPOの活動のメインは、主に中学生を対象に、子どもたちが科学分野の科目を楽しんで学べるような授業を設計し、インド中の学校を訪問しながら実際に生徒たちに授業を行っていくというものだった。（他にも色々と事業はあるのだが、いったんここでは割愛する）
となると、この団体におけるインパクトの評価とは、「実際に子供たちは必要な知識を身につけ、学ぶことを楽しめるようになったのか？」を検証する活動だと言える。
私が所属した評価チームは7~8人のメンバーで構成され（これは日本のNPOでは想像できないくらい充実した人員配置である）、チーム全体で3種類評価を分担して行っていた。
3種類の評価手法
１．日次評価：授業の実施前後での指標比較
まず最も短いスパンの評価として、授業で取り扱う内容を子供たちが正確に理解したのか？を計測する。これは、単に授業が楽しければそれでいいのではなく、しっかりと最低限の知識が身についていないと「学ぶこと」が楽しいというマインドセットにはならないことを前提にしている。
この評価においては、授業の前後に子どもたちに授業内容に関するクイズを出し、その正答率などの変化をトラックする。かなりシンプルだが、難易度の調整などは実はかなり難しい。
質問例：
Pitch of the sound is determined by its…
A: Frequency, B: Speed, C: Amplitude, D: Loudness
音の高さは、何によって決まるか。
A：周波数、B：速度、C：振幅、D：大きさ
（正答：A）
残念ながら今回の流れに関係がないのでまた別の機会に。
２．年次評価：一連の授業を実施した年の年初と年末で指標比較
私たちのプログラムは「好奇心」や「学ぶことの楽しさ」に気付くことに念頭が置かれている。しかし、そういった変化は単発の授業だけでは起こりにくい。長い目で判断することが必要なのである。
そのため、学年の始業のタイミングと終業のタイミングに同様の質問を子供たちに投げることで、どれだけ子供たちの姿勢に変化があったのかを把握する。
ただ、子供たちに直接「あなたの好奇心はどのくらいですか？」と聞いても意味のある結果は出てこない。そのため、実際には「好奇心」「自信」「リーダーシップ」などの評価項目それぞれについて、それを判断するためのサブ質問項目が多くあり、その結果を統合することで判断を行っていた。
たとえば、「好奇心」の度合いを判断するための質問項目の一つがこれである。
When I look at the rainbow,
A: I feel very happy
B: I think it is very beautiful
C: I wonder how the rainbow is formed
D: I want to learn more about the rainbow
E: I will ask questions, read about rainbows, and try to do an experiment on my own
虹を見つけた時、
A: 嬉しくなる
B: きれいだなと思う
C: どうやって虹ができるのかなと思う
D: 虹についてもっと学びたくなる
E: 虹について誰かに質問したり、本を読んだり、自分で実験してみたくなる
（複数回答）
当然このような質問に正答はないわけだが、「好奇心」を評価するという意味では、C~Eのような態度が見られる方が好奇心が高いと判断することができる。これらをスコア化し、他の質問と統合して「好奇心」の度合いを判断するのである。
（なおこれはあくまで設問の一つであり、実際には多くの質問を組み合わせることで妥当性を担保している。また、このNGOはインド現地の大学院と提携してこの質問票を協同制作している。）
３．定性評価：n=1の受益者ストーリーに基づく評価
NPOにおける（広義の）インパクト評価への批判としてよく挙げられるのが、「定量化できる指標だけを扱って、それ以外のインパクトを見落としている」というものである。
正直、私はこの手の批判は全く当たらないと思っている。
そもそも、これから説明するように、評価というのは定量評価だけではない。定性的な評価も事業評価の重要な構成要素である。この点は、次回に述べる事業評価の意義にも関連するため、念を押しておきたい。定量化できなくとも、評価することは大事である。
さらに言えば、NPOにおいて「定量化できないインパクト」といったときに、それが本当に定量化できないのか？はしっかりと考える必要がある。たとえば、2. 年次評価のセクションで述べたような「好奇心」の測り方は、もともと定性的な要素を定量化してとらえようとしている。これを「好奇心なんて測ることができないから定量的インパクト評価はやらない」と捨ててしまうのは簡単だが、まず何とか定量化できないかと試行錯誤すべきだろう。実は、こういった試行錯誤の中でこそ、「好奇心」が実際に何を意味するのか、我々のミッションは何なのか、などについて組織のメンバーの中で認識がすり合わされるものなのである。
さて、少し話が逸れたが、私の働いていた団体ではインタビューに基づいた定性的評価を行っていた。
これは、実際にこの団体のプログラムを受けた子どもたちに、受講後ないし数年後に話を聞き、プログラムがどんなかたちで彼/彼女たちの考え方や進路に影響を与えたのかを、子どもたち自身の言葉で語ってもらうというものである。これにより、プログラムのどのような点が、子どもたちに変化をもたらしたのかを理解することができる。
インパクトの評価は思ったよりも広く柔軟である
というように、一口に「インパクトの評価」と言っても、短いスパンの者から長いスパンのものまで、そして定量的なものから定性的なものまで多くの種類が存在することがわかる。
そして当然団体のミッションや活動が異なれば、その分インパクトの評価手法も異なる。今回紹介したのはあくまでもインドの教育系NPOの事例である。他分野であればもっと異なる手法での評価が妥当な場合もあるだろう。
「インパクトの評価」は思ったよりも広く柔軟なのである。
さて、今回は、「NPOにおけるインパクトの評価」の解像度を上げるために、実際の事例を用いてその中身を紹介した。「評価」という言葉に抵抗があるという声もよく聞くが、まずは実態を理解するところから始めていければと思う。
次回（いつになるかは謎）は、これを踏まえてなぜインパクトの評価が重要なのかについて述べたい。このいわば「インパクトを評価する"インパクト"」はインドでの最大の学びの一つであり、パラダイムシフトともいえるものであったため、日本のソーシャルセクター全体に広がってほしいと思っている。
要約すると、「インパクトの評価はみんなのため」ということになるのだが、詳細は次回に譲りたいと思う。
ではまた。