日本更生保護学会に登壇しました。

日本更生保護学会・第８回大会

2019年11月30日（土）日本更生保護学会・第８回大会に、弊社落合が登壇しました。弊社は2018年度に法務省と成果連動型支払の文脈で、少年院再犯防止事業の検討をしてきた経緯があります。

法務省再犯防止計画の中に「社会的成果（インパクト）評価に関する調査研究」という文言が入ったこともあり、國學院大學の吉開先生からお声がけいただき、「社会的成果に関する評価について～更生保護における評価基準を考えるために～」という表題でお話させていただきました。

また、発表後には、法務省保護局守谷専門官、福島大学高橋淳教授、Sheffield Hallam大学のWatson教授と共に討論に登壇させていただきました。

学会シンポジウム冒頭

英国の保護観察改革における中低リスクの対象者に対する保護観察が失敗であったという基調講演がWatson教授からありました。

そして、討論の冒頭には吉開先生から「現場での直接の経験から来る暗黙知を持つものに、適切な実績基準を開発する方法を提案してもらう（ジェリー・Z・ミュラー『測りすぎーなぜパフォーマンス評価は失敗するのか？』）」という一文の紹介があり、英国からの学びもとおして、成果を測る必要があるのか、今後どのように測っていけるのか、ということが議論の中心となっていたと思います。

落合の発表

発表においては、日本では2016年度に内閣府が社会的インパクト評価の定義を定め、他省庁でも文言が使われるようになったこと、手法としては従来のプログラム評価とは変わらないものの、特にアウトカム評価の部分に重きが置かれていること、その他SDGsなどの言葉が一般的に広まってきたこともあり、省庁だけでなく民間でも関心が高まってきていることを述べました。

また、アウトカム評価の前のセオリー評価（ロジックモデル）の設計が非常に重要であること、詳細のアウトカム設計には関係者の関与が重要であることを強調すると共に、国レベルや自治体レベルでの成果把握や成果連動型支払契約のように報酬と結びつける成果測定のためには、「再犯率」など、ある程度わかりやすい指標設計が求められているということを述べました。

続く高橋准教授の発表でも、求められる形での「可視化」は、当事者の人生をねじまげるリスクがあるということや、一方で可視化しづらい効果を捕捉し可視化する取り組みを続けることの重要性が語られました。

シンポジウムをとおして自分なりに得た学び（３点）

⑴　分野や測るポイントにより、指標測定の要不要の検討が必要

一つ目は、何でも測ればよいというものでもない、ということです。更生保護分野においても、「職員による献身的な接触」など、定量的には一見測りづらいところに価値がある。プロセス評価が必要だからと言って、こうした部分を測ろうとすることは、必ずしも対象者や事業者にとって良い効果をもたらさない可能性がある（寧ろネガティブな影響がある可能性がある）。

一方で、必ずしもエビデンスが合理的に得られないからといって、意味がないということではない。捉えづらいものをそのまま捉える姿勢も重要であり、逆に言えば、そういった理解があった上で、ブラックボックスアプローチで成果を求める成果指標測定というのは、効果を発揮する可能性があると思いました。

⑵　成果測定をする場合には「現場の実感」をもった設計が重要

二つ目の「現場の実感」をもった設計というのは、吉開先生が引用した「現場での直接の経験から来る暗黙知を持つ」という部分と同じことです。

よく言われることですがトップダウンでの、現場の実感を無視した成果設計では、ストラクチャー、プロセス、アウトカム、いずれでも無理が生じる可能性がある。

シンポジウムでの議論をとおして、結局、事業を動かすのが人と人であり、その事業の「実感」を経験的に知っている人が設計した場合とそうでない場合には、その運用に大きな差が出る可能性が高い、と改めて思いました。

芸術文化関連事業の評価における議論でも、よくトップダウンの評価設計と、現場での実感値に乖離が見えることがあります。どんなに「良い」成果に見えたとしても、そこに現場感が含まれていなければ、現場で活用されない、あるいはできない可能性があるのです。誰のために、なぜ測るのかを、いつでも深く考える必要があると思いました。

⑶　専門家や多様な関係者との協働が必要

二点目に加える形で、専門家や多様な関係者との協業が重要だと思いました。評価設計をする側が、誰もが現場感を得ているわけではない場合もある。そうした時に必要なのが、現場の実感を伝えられる人であり、専門家であり、多様な関係者なのだと思います。

評価実施の際には、関係者分析が重要と言われますが、単に関係者分析するだけではなく、その中で現場の実感を持った人と共に評価設計に取り組むことが、評価設計が活用されるかどうか、加えて成果に結びつくかどうかにかかっているのだと思いました。

まとめ

成果をどう測るのかというのは、各分野、それぞれの組織や事業で多様な議論が繰り広げられていますが、今回得た3点の学びについては、改めてどの議論においても通ずるものがあると思います。誰のために、なぜ測るのか。その対象に向けて、現場の実感を持っているか。成果志向の根底には、そう問い続けることが、が常に求められているのではないかと思いました。

（ケイスリー株式会社　落合千華）