「社会にとって良いこと」がちゃんと評価されるように、n=1の声も大切にできる評価シートをつくりました
こんにちは！社会課題解決に特化した企画・PRの会社、morning after cutting my hair,Inc.です。
社会課題の解決に向けて活動をしていく中でふと、「自分たちがやっていることって本当に意味があるのかな？」と不安になる瞬間はありませんか？
それぞれの活動に対して一定の評価を得たり、具体的な数字で成果を出したりしていても、根本的な課題の解決までに距離がある場合は、自信を失いかけてしまうこともあります。
そしてこれまで、「社会にとって良いもの」が、すごくふわっとした評価をうけているように感じていました。対外的にその価値を伝えるために、いくつかの既存の評価手法で評価し直したものの、評価することを事業開始前に決めておかないと比較ができないものや、量と規模だけの評価になってしまったり、数値化できることだけが評価対象となってしまったりするなど、本来存在するはずのその他の価値を評価しきれないものばかりのように感じていたのです。
もう少しわかりやすく、幅広い価値に対して、知識や経験のない人でも整理・評価ができる手法があればいいのに...私たちは考え続けました。
量や規模での評価からは抜け落ちてしまうけれど、とても大切な「n=1*」を見落とさない評価方法は作れないだろうか。
考えぬいて、ようやく形になりました。その過程やそこにかける想いなどを、こちらのnoteで発信したいと思います。
*nは調査で回答を得たサンプル（標本）の数。300人から回答得た場合はn=300となり、本文ではそのうち一人だけが回答した内容をn=1と表記しています。
まだまだ完璧なものとは言えないかもしれませんが、同じような悩みを抱えるソーシャルセクターの方に是非一度使ってみていただき、フィードバックを頂きながら、より良いものにしていければと思っています。
既存の評価手法について
ソーシャルセクターなどの活動が、社会にどのような変化や価値を生み出したのかを評価するための手法として、「社会的インパクト評価」 というものが既に存在しています。近年この言葉を見聞きする機会が増えてきたという方も多いかもしれません。
そこで、改めて各所で公開されている「社会的インパクト評価」についてまずはリサーチをしてみました。2015年度に内閣府が設置した、「社会的インパクト評価検討ワーキング・グループ」の報告書と共に公開した「社会的インパクト評価ツールキット」や、そのベースとなったSIMI（一般財団法人社会的インパクト・マネジメント・イニシアチブ）の「社会的インパクト評価ツールセット実践マニュアル」、および評価の際に活用できる「ツールセット」など、様々なものがオンラインで無料で参照できるようになっています。
いずれも、経験がないソーシャルセクターでも評価できるようにと工夫されていることは伝わってくるのですが、内閣府が公表している報告書*1によれば、この手法を用いて評価するのにかかる平均工数はなんと381人/時間！
専任のスタッフを置くことが不可能な小規模な団体は、とてもじゃないけど、この方法で評価をすることは難しい…となってしまいます。
もちろん、緻密な検証によって活動の成果を可視化することは価値があることですし、特に投資効果の検証をする場合には不可欠だと思います。ただ、評価作業自体がハードルになって、そもそも評価すること自体を諦めてしまっては本末転倒です。
また、これらの方法では、数値として定量化できる指標の明確な増減が重視されがちになります。大きな変化が大切なことに異論はなく、それを目指していくべきだとも思うのですが、一見とるに足らないような小さな変化の中にも、大切なことはあるはずです。
「私たちが求める評価手法」の３つの条件
では、一体どのような手法であれば望ましく、自分たちにもできそうだと思えるのでしょうか。私たちが重視する条件は次の3つです。
①取り組むためのハードルが低い
評価に取り組むために専門知識が必要とされていたり、手法の解説に専門用語が多用されていたりすると、最初のハードルが一気に上がってしまいます。私たちが目指すのは、より多くの方に使っていただけるものなので、最初のハードルを最低限にしたいと思いました。
②事前事後の比較が必須ではない
多くの評価手法の手引きでは「事前」と「事後」をデータで比較することや「評価対象となる活動以外の要因の影響」を排除することで、純粋な影響だけを抽出することが前提になっています。しかし、現実的には事前のデータが用意できることは稀。
例えば、全力でプロジェクトの遂行に邁進したのち、終了後に少し落ち着いた段階で成果を確認したいというようなケース。事前のデータを用意することが条件になってしまうとここでつまずいてしまうので、活動終了後に評価をしようと思い立っても取り組めるようなものが望ましいと考えました。
③n=1の声を評価できる
量だけにフューチャーすると、結局は資金力を持った団体や大規模な活動ばかりが優位になってしまいます。
その影で、小さいけれど誰かにとっては大切な変化や、未来に向けた大きな一歩になるような象徴的な変化が取りこぼされるおそれがあることが一番の懸念でもありました。
例えばある一人の受益者（n=1）に生まれた大切な変化や、人生を変えるような感動などもしっかりと拾い上げ、光を当てられるような評価手法こそが私たちが求めているものでした。
これら3つの条件をクリアし、既存の「社会的インパクト評価」として投資効果の判断に使われるような厳密な評価手法と、単純な事後アンケートやヒアリングとの中間的な存在を作り出すことをゴールと設定しました。
「n=1を大切にする事業評価シート」ができるまで
色々な人の意見を参考にしながら、よりハードルを低く、なおかつ意義のある評価にするため、評価ポイントをシンプルに絞り込みました。
１．そもそもの目的に立ち返る
まずは「活動/事業の結果、受益者や社会がどうなったら自社/団体の活動として成功と言えるのか」を明確化すること。とても当たり前のようですが、手段や短期的な成果に目を向けすぎて、本来の目的を見失っている団体や組織は意外と多いと思います…!
そして、活動によって実際に生まれた変化とその成功基準を照らし合わせ、目的に寄与するものをすべてピックアップするというやり方を取ることで、プロセスをできる限り簡略化できると考えました。基準を明確化できれば、結果として生まれた大きな変化も小さな声も、その基準に照らして価値の判断ができるようになります。
2. 活動の成果・変化を拾い上げる
活動の結果生まれた変化や成果を拾い上げる際には、変化が生じた対象を「組織内」と「組織外」に分け、それぞれ「活動に直結する変化や成果」と「活動自体やその活動に触れたことによって間接的に生じた変化や成果」を意識しながらアンケートやヒアリングを行っていきます。
その際、データや記録に残りやすい大きな変化だけでなく、個人的にすごく大切だと思ったことやたった一人の人が感動した体験など、小さな事も取りこぼさないよう、できるだけ掘り下げながら集めていくようにしましょう。
実はその中に本当に大切なことがひそんでいるかもしれません。
「社会課題の解決」という大きな目標に対しては、一つ一つの活動がすぐにその根本解決につながるケースは少ないため、解決に向けたたった一歩の前進でも貴重な成果となるとわたしたちは考えています。また、その活動を行っている自分たち自身にとって良い変化があればそれもゴールに向けた大切な一歩だと考えます。この様に区分けをして探って行くことで、成果や変化を取りこぼさずに拾えると期待しています。ただ、ここで自分達に対して甘いジャッジ、主観的なジャッジをして良いということにはなりません。適度な客観性は担保し、１で確かめた目的に対してどうか、という視点で、拾い上げられた声に着目していきましょう。
3. みんなで解決する,という視点で見てみる
最後にもう一つ、「その他、世の中全体の動き」に目を向けることも大切なポイントと考えました。自分たちだけでアクションを起こすよりも、同じビジョンを持って活動してくれる仲間が増えれば、早く、遠くへ進むことができます。
自分たちの活動によって、同じありたい社会を目指す会社／団体／個／商品などの出現や、世の中の機運の高まりが生まれたのであれば、注目すべき評価ポイントとして取り上げるべきだと考えます。
これらの内容を一つずつ埋めていけるようなシートを作ることで、活動によって生まれた成果が見えやすくなるのではと考え、作成したのが以下のシートです。
私たちはこれを「n=1を大切にする事業評価シート」と呼びたいと思います。
シートの記入方法・見方について
実際にやってみると、埋められない枠も出てくるでしょう。むしろ全部埋まることの方が珍しいかもしれませんので、無理に全て埋めようとしなくても問題ありません。
できあがったものを俯瞰して見ることで、「定量的な変化・成果」、組織内外の「直接的な変化・成果」と「間接的な変化・成果」、そして「その他、世の中全体の動き」のそれぞれで、どの様な変化や成果があったのか、もしくはなかったのかということが確認できるようになります。
短期的な数値目標や、定量的に表せられるものだけでなく、小さいけれど実際に起きた「n=1」を大切にするにあたり、自分たちの活動や団体のあり方はどうなるといいのかなどを話し合いましょう。
そうすることで、自分たちの活動はありたい社会の実現に向けてどのような前進があったのか、または、まだ足りていないものは何なのかなど、以前よりも明確に評価できるのではないでしょうか。
「n=1を大切にする事業評価シート ver1.」のダウンロードはこちらから
こちら自由にダウンロードをしてご活用ください😊
もしよければ、使いにくかったところや、描きにくかったところは教えてください！アップデートしていけたらと思っています。
そして、シェアする場合はぜひぜひぜひ！タグ付けお願いします、スタッフが喜びます✌️笑
参考文献・参照
*1新日本有限責任監査法人（2017）「社会的インパクト評価の実践による人材育成・組織運営力強化調査 －最終報告書」（内閣府委託調査）
https://www.npo-homepage.go.jp/uploads/h28-social-impact-chousa-report-01.pdf
Consulting for Social challenges with Love. based in TOKYO & SHIGA, JAPAN. ///// 世の中にある「課題」に挑む人たちの想いを伝え、感動と共感の力で、『人の心が動き続ける社会』をつくる。