あぶない＜エビデンス・ベースド・Ｘ＞
生活困窮者自立支援の事業では、毎月報告書の提出が義務づけられている。はぁ、面倒くさい。制度スタート前から厚労省は「全国一律の帳票」を使うと明言している。全国一律でデータを取りたいんだな、数字だけほしいのね、とは思っていた。
ところが先日、厚労省のデータ分析報告を見つけて少し固まった。
本レポートは、ＥＢＰＭ（Evidence Based Policy Making）の観点から、生活困窮者自立支援制度の各事業が就労者数や増収者数を増加させる効果の有無を検証することを目的とする。[強調は引用者]
『ＥＢＰＭの分析レポート（生活困窮者自立支援制度の効果検証）』
エビデンス・ベースド・ポリシー・メイキング。根拠に基づく政策策定。
そのために検証するのは「就労者数や増収者数を増加させる効果」だけ。利用者がどんな風に感じたかとか、支援者が何をどうしたかとか、そういうのにはノータッチである。なぜなら、数値目標がそのように設定されているから。経済財政諮問会議＠内閣府が作成し、厚労省に押しつけた数値目標、KPI(Key Performance Indicator)である。
(これがKPIとしてマトモかどうか、経営戦略の方にご意見伺いたいところ)
＜エビデンス・ベースド・Ｘ＞
確かに最近「エビデンス・ベースド・○○」というのをよく見かける。どうもアヤシイ。「○○」にはビジネスなら「マーケティング」や「マネージメント」。福祉では「プラクティス」や「ソーシャルワーク」などが入るのだが、どの分野も、これまでエビデンス(根拠)無しでやってきたわけではないだろうに。何かをわざわざ言い立てる場合、たいていウラがある。とりあえずこれを＜エビデンス・ベースド・Ｘ＞と呼ぶことにした。
＜エビデンス・ベースド・Ｘ＞の由来は、1990年代以降に広がった「エビデンス・ベースド・メディスン(EBM)」にあると言われている。医師の経験や勘に頼るのではなく、医療データの統計分析によって治療法の標準化をはかり、患者にとって最適な治療法を選択できるようにする試みで、治療のガイドラインを生み出してきた。
根拠に基づく医療。たいへん科学的で民主的で結構なことのように聞こえる。だが、実はそうでもないようだ。スタンフォード大学のイオアニディスさんは、臨床エビデンスが企業の広告ツールとなり「ハイジャック」されたと嘆き、こんな風に述べている。
リスクファクターの疫学は、サラミのようにスライスされたデータに基づいて作成された論文を得意とし、偽りの証拠から政策を決定することに長けている。市場の圧力を受けて、臨床医学は金融ベースの医学へと変貌した。多くの場所で、医学と医療は社会的資源を浪費し、人間の幸福に対する脅威となっている。
よくわからんが、EBMを支持する人がこんなに嘆いている。お気の毒に。何が起きているのか。
EBMでは、ある治療法の効果についてのデータを大量に集め、ランダム化比較試験などを通して検証し、標準的な治療法のガイドラインを作っていく。だが、政府からの助成金が減った大学が製薬会社に頼るようになると、研究課題を企業にコントロールされるようになり、企業にとって都合の悪いデータは隠蔽されるようになる。逆に研究者は製薬会社の広告エージェントになってしまうが、それが医学界での出世を意味するようにもなる。ハイジャックとは、そういう状況を指す。
どうやら＜エビデンス・ベースド・Ｘ＞は、一見科学的でニュートラルな印象を与えつつ、実際は経営的な利害が何かを乗っ取っていく実態を覆い隠すための記号として捉えたほうがよさそうだ。
測りすぎ！
では医療分野以外ではどうなっているのか。「エビデンス・ベースド」には言及していないが、大学、学校、医療、警察、軍、ビジネス＆金融、慈善事業＆対外援助という幅広い分野を横断的に検討し、それらに共通して見られる問題を析出、いかにその問題を回避するかを示した本がこちらである。
原題は"Tyranny of Metrics"、「メトリクスの専制」。「測りすぎ」って日本語訳、ツッコミ感があってすごく好き。でも深刻さは減っちゃうかな。
さまざまな場で説明責任を求められる現代、実績を測定して公開する「透明性」が美徳とされている。だが歴史学者のミュラーさんはそこにツッコミを入れる。「説明責任を測定基準や透明性と同一視するのは間違っている。説明責任は本来、自分の行為に責任を負うという意味のはずだ」(p.4)。
説明責任、accountabilityには「測定できる」という意味もある。測定することによって組織は真に責任を果たせるようになるという考えのもと、「実績」は「標準化された測定」に落とし込めるものと同一視される。
この「標準化された測定」こそ、＜エビデンス・ベースド・Ｘ＞の「エビデンス」だ！ミュラーさんはこれを「測定基準への執着」、略して「測定執着」と呼び、主な要素をこうまとめた。
・個人的経験と才能に基づいておこなわれる判断を、標準化されたデータ(測定基準)に基づく相対的実績という数値指標に置き換えるのが可能であり、望ましいという信念
・そのような測定基準を公開する(透明化する)ことで、組織が実際にその目的を達成していると保証できる(説明責任を果たしている)のだという信念
・それらの組織に属する人々への最善の動機づけは、測定実績に報酬や懲罰を紐づけることであり、報酬は金銭(能力給)または評判(ランキング)であるという信念
まあ、そうなるよね。
測定執着によって、さまざまな場でさまざまな弊害が起きている。
「学術研究の生産性」の測定項目に論文の引用回数が導入された結果、一部の学者は非公式サークルを結成し、お互いの論文をできるだけ引用しあう行動に出た(p.82)。
全国共通テストが「学校評価」の測定項目とされた結果、学力の低い生徒を「障害者」として再分類し、評価対象から排除して成績の平均を上げていた学校があったことが明るみに出た(p.95)。
政治家が「凶悪犯罪発生率を下げる」と数値目標を設定した結果、警察署長は部下にプレッシャーをかける。すると部下は車庫への押し入り強盗は「器物損壊」、窃盗は「遺失物」と、より軽微な犯罪として記録するようになった(p.128)。こんなエピソードが各所にちりばめられている。
生活困窮者自立支援のKPIはどうなるだろう。「就労者数」や「増収者数」を増加させるため、利用者さんを日雇いバイトなどあまり質のよくない「就労」につなごうとするところも出てこないだろうか。危なくてしょうがない。わかってんのか経済財政諮問会議っ！
とはいえ、ミュラーさんは測定そのものを否定してはいない。うまくいった例も挙げている。医療分野では、測定基準を一方的に現場に押しつけるのではなく、現場の人々と一緒に作っていったところでは、測定を通した改善が成功した。貧困層の多いペンシルベニア州では、「ガイシンガー・ヘルス・システム」がチーム医療を通してコストを引き下げ、患者の治療成績を向上させた。ミシガン病院では院内感染を引き下げることができた。
測定基準が現場人のプロ意識と一致していれば、うまくいくのかも。
何を「エビデンス」の測定基準とするかは、「エビデンス・ベースド」という表現だけではわからない。だから、だまされちゃダメだ。誰が、どんな思惑で基準をつくるのか。その基準は現場のリアリティに沿っているのか。まずそれらを問う必要があると私は思う。
素朴に「それは科学的でニュートラルですね！」と受け入れてしまってからでは遅いことは、EBMが教えてくれている。一見科学的でニュートラルに見えても、政治的、経済的にはニュートラルではないこともあるからだ。
ステキな測定基準
最後にミュラーさんの本から、現場レベルでのステキな「測定基準」のところを引用する。米軍や国防省で暴動鎮圧担当の戦略担当したキルカレンさんという方のエピソードである。
有用な測定基準を開発するには、多くの場合、現地の状況を熟知する必要がある。たとえば、外来(つまりは地元産でない)野菜の市場価格を見るといい。[略]
[以下、二重引用]アフガニスタンは農業経済国で、作物の多様性は地域によってかなり異なる。アフガニスタンの農業生産における自由市場経済の中で、リスクとコスト要因――作物を育てるのにかかる機会費用、それを安全の保障されていない道路を使って運搬することのリスク、それを市場で売る際のリスクと売り上げを家に持って帰るリスク――は、果物や野菜の価格に自動的に上乗せされる。したがって、市場価格全体の変動は、一般市民の意識と安全に対する認識を測る、測定基準の代用となりうる。
その土地、そこに暮らす人々への深い理解とセットではじめてうまれる測定基準。それはほかの状況ではまったく使えないかもしれないが、確かに伝わってくる、ざらついた手触り。人間の息づかいとともにある、測定基準。
こういうのにはグッときてしまう。そう。すべての測定基準が悪いわけではないのだ。
(ﾄﾘｱｴｽﾞｵｼﾏｲ)