アウトリーチや相談などの「成果」「効果」をどう測るか

暇空らはアウトリーチとか相談とかの「成果」の測り方とかそこで記された数字の評価とかにやたらとこだわるし、事業・活動の特質を無視してその数字の大小とか、平均とか単位換算した数字の大小とにやたらこだわるでしょ。各方面で目立つ悪しきエビデンス主義がさらに歪んで現れている。

— Masanobu Usami (@usamimn) May 3, 2023

このツイへのコメ含め前提がズレてるから的外れになる。にも拘らず上から目線でドヤって来る。問題は、このような活動の「成果」あるいは「効果」をどう測るか、その際数値で測ることが適切か、数値で測る場合にそれをどう評価するか、直接的な量的指標がない場合に代理指標はあるのか等。

アウトリーチの場合はその場で結果が出るものではなく、結果の定義も難しい。相談・支援につながるのも結果だし、被害を防げたのも結果だが、後者を確認することは基本的に不可能。相談・支援につながるのも直後かもしれないし、ずっと後になってからかもしれない。そうすると寄与度の評価は難しい。

そして、アウトリーチも状況の変化によって、行う場所、手段、対象等も変えなければならないし、上に書いた通り直接的な効果測定が難しいあるいは工夫がいる中で、スタッフの手応えのようなものも合わせて評価する必要がある。オンラインはなおさらだ。

ビラを配るといっても無差別に配る訳には行かないし、一般的なビラ配りのように女性ー男性、年齢層といった粗い絞り込みでは意味がない。「外れ」込みで量を配ることで漏らさないことを重視するか、観察し絞り込みをかけてコミュニケーションまで意識して行うか。その場所の特性等にもよる。

オンラインであれば、例えばリスクが感得される女性にピンポイントでアプローチするのか、一定範囲への情報提供・周知を狙うのか。いずれであっても目指す効果を設定した上で丁寧な観察、発信手段の選択、メッセージの内容の選択などが必要であるし、事前に一定の定型化をするだけでは足りない。

だから、実地であれオンラインであれ成果、効果を量的指標だけでは測れないし、量的指標を用いる場合でもその評価には工夫が必要で、単純な大小で評価することはできない。同時に、スタッフのパフォーマンスを測る場合にも量的指標だけでは足りない。

悪しきエビデンス主義と私が言うのは、数字を示すことに囚われ、安易な仮説や想定で指標又は代理指標を設定したり、擬似相関を相関関係や因果関係と取り違えて誤った結論を引き出したり、定量評価を補う又はこれに優先すべき定性評価を無視し又は低く位置付けたりする等のことである。

よく例に挙げるのは政策評価や優先順位付けの際に「少子化対策として有効か」という誤った問題設定をし、出生率・数や婚姻数を指標とすることだが、アウトリーチの成功を相談件数の増加と設定しそれのみで測ったり、活動量と相談に単純な関係を想定して活動量を示す数値で測ったりは妥当性が低い。

結局、暇空らはどのような前提や想定の下で、どのような効果を期待してどのアウトリーチ手段が選択され、その実行にはどのようなステップや要素が含まれているか等を無視、捨象して、報告書等に掲載された数字だけを切り出して、自分が勝手に設定した尺度で論じてみせる。それでは捉えられないのだ。

まさに舞台となっているツイッターで言えば、インプレッション、リプ、RTの数だけではツイートが成功したか失敗したか、肯定的評価を受けたか否定的評価を受けたかは測れず、他のデータとクロスさせないとわからないし、ツイ主の実感の方が実態を捉えている場合もある（もちろん逆もある）。