日常の評価学～その１：都道府県別魅力度ランキング

毎年恒例の「都道府県魅力度ランキング」が話題になっていますね。AERA dot.で以下の記事を読みました。
『なぜ山本一太群馬県知事は「ランキング44位」に激怒したのか　調査会社は「理解できません」と反論』
https://news.yahoo.co.jp/articles/56e0ed280c66f5f7b4250ff194e1625038aa1698?page=1

　この記事の中の記載から、文章をいくつか抜粋して、私の専門の評価学の観点から解説してみます。

（１）『一つ目は、「どの程度、魅力を感じますか」という、たった一つの質問しかしていないという点だ。「とても魅力的」を100点、「やや魅力的」を50点、「どちらでもない」、「あまり魅力を感じない」、「全く魅力的でない」を0点としてカウント。都道府県ごとに100点満点に換算してランキング化しているという。』
　これは通常の５ポイントスケールですから、基本的にいいも悪いも言えませんね。５ポイントスケールということは分布が正規分布になっていると（無意識にでしょうけど）想定していると言えるわけです。つまり、いわゆる釣り鐘型（ベルカーブとも）の分布になっていると想定していると言えるわけです。これは、ランダム化比較試験（いわゆるRCT）など定量分析を好む専門家の方々も通常使うスケールです。そういう分布になっていれば、統計分析を含むさまざまな定量分析に適しています。ただし、点数づけが通常用いられる5,4,3,2,1あるいは4,3,2,1,0ではなく、低い方の３つの選択肢をゼロ点にしているそうでその理由はわかりません。

（２）『群馬県はこの調査方法に対して疑問を持っているようだ。 「一つだけの、しかも具体性がなくイメージを問うような質問では、憧れの街や有名な観光地のある自治体が上位に来るのは当然だと思います。たった一つの質問の答えにすぎず、さまざまな角度から分析されたものではないのに、『魅力度』としてランキングを公表すること自体が問題だと思います」（担当者）』
　総括的な質問として一問だけに集約して質問することはよくあります。より好ましいのは、項目を複数に分けて質問してその回答の合計点を出す、あるいは複数の質問の回答の平均点を出すなどです。しかし、人間の脳は素晴らしい仕事をするものであり、「分野別の評価(Dimensional Evaluations)をして合計点を出すより、総合評価（Global Evaluation）の方が（分野別から漏れている項目も脳は補って考えるので）優れている」という有力な主張があります。この点から、総括的な質問だけなのが問題だという指摘はやや的外れになっていると思われます。
（参考）Scriven, M. (1991). Evaluation Thesaurus 4th ed. Sage Publication.

（３）『二つ目は、5段階の回答で集計している点だという。 「昨年のランキングを見ても、北海道など上位の自治体は明らかな点数の差がありますが、20位あたりからは点差が少ないんです。こういうアンケートは必ず誤差が生じますから、点差が大きい上位だけを公表するのはまだ良いとしても、点差が少ないその下の自治体を、細かく47位まで示す意味がどこにあるのでしょうか」（同）』
　これは、統計分析で使う２群の有意差検定（２群のｔ検定）を使えばいいと思います。差がわずかなら「差があるとは言えない」と判定されるわけですから、最下位の方はグループになっていて差がないかも知れません。この点は群馬県の主張に一理あると思われます。それから、２群のｔ検定に加えて最近よく用いられる分析手法として、効果サイズ（Effect size）を計算すると「ある県とある県の点数の差は大・中・小」のうちどのあたりかというと判断もできます。

（４）『「三つ目は、結果に対する生データが示されていないという点です。なぜそういう結果になったのか、原因の部分が示されていないので、県としても何をどう評価されているかが分かりません。ランキングを参考にしようがないんです」（同）』
　この指摘は的を得ていると思われ、分析者の視点からすると回帰分析という手法を用いて分析してみたいですね。今回の「都道府県の魅力度」をＹにして、教育支出とか保健支出とか観光投資などをＸにして、Ｙ＝aX+bにしてみるという手法です。そして、今後、群馬県が「県の魅力度アップ・パッケージ」を実施して、その政策パッケージの有無を追加のX (1/0)として加えて、その政策パッケージの効果の有無と大きさを検証してみるというわけです。ぜひやってみたいですね。ただしのそのためには調査結果の詳細なデータが必要となる一方で、都道府県別の分野別の支出や投資などは一般に公表されていますからデータには事欠かないでしょう。
　　　
（５）『今回、山本知事が法的措置までちらつかせたことについて、ランキングを発表した「ブランド総合研究所」はどう捉えているのか。同社の田中章雄社長は、「驚いています。まず、群馬県の魅力度の結果については、点数は前年の13.4点より今年は15.3点と上昇しています。ただし、他にさらに伸びが高い県が多かったことから、相対的な順位は残念ながら下がってしまいました。したがって、『結果が下がった』ではなく、『魅力度自体は高まっているが他にはもっと高まった県が多かった』というのが正しい結果となります」と、群馬県の魅力自体が低下したのではないと説明した。』
　これに関して次のことが言えます。それは、点数化して並べることは「相対評価」と言われるわけで、並べればどんなものでも１位～最下位が出るわけです。しかしこれは相対評価であって順位に価値はありません、というか「価値づけ」にはなっていません。「Ａ：たいへん魅力的」「Ｂ：魅力的」「Ｃ：魅力的ではない」「Ｄ：まったく魅力的ではない」のそれぞれに定義文（Normative statement）を最初によく話し合って決めて、そして一県一県どのカテゴリーに入るか判断していくと「絶対評価」になり「価値づけ」ができたことになります。「相対評価」をしていると周辺の県をけなすことを誘因してしまいます。「絶対評価」だと全部の都道府県がＡになる可能性もある一方で全部の都道府県がＤになる可能性があるので、「広域で協力しよう」というメッセージとなるわけです。これは好ましいですね。これと同じ理由で、日本の教育現場から（偏差値などの）相対評価が消えて、A,B,C,Dの絶対評価に切り替えられたと理解しています。今は一般に公立学校の現場で偏差値による進路指導は厳禁だそうです（進学塾ではばりばりやっていると理解していますが）。

（６）『「そもそも、われわれは調査を行い、その結果を発表しているだけです。調査結果の発表を押さえつけようという発言であれば、それは報道の自由に反することでもあり、世の中のすべての調査結果の公表、公開を妨害するということになるのではないでしょうか。まさか、そのような考えとは思えませんので、この発言の意図が理解できません」』
　この点は評価学からははずれますが、これは当然の反論と思います。「表現の自由」は憲法で保障された権利です。この人類普遍の価値とも言える価値は、日本であれどこであれ尊重されるべきと思います。特に今の時代には守っていかなければならない価値だと思います。

　以上です。来年の都道府県別魅力度ランキングの集計の仕方と公表の仕方がどのようになるか、今から楽しみです。