神奈川県SDGs社会的インパクト・マネジメント実践研修【第8回】レポート

SDGs社会的インパクト・マネジメント実践研修の第8回はデータの収集と分析についてです。東洋大学の米原先生に講義していただきました！

今回の流れ

前回からのおさらいですが、データの収集・分析はロジックモデルを作成した後に行います。《ロジックモデルから測りたいアウトカムを抽出→測定するための評価設問を考える→評価設問を元に測定指標を設定》という流れでした。

（例）測りたいアウトカム「研修参加者が評価のノウハウを習得する」→→評価設問「研修参加者が評価のノウハウを習得できたか？」→→測定指標「研修参加者の評価ノウハウの習得度」

今回は指標を設定した後のデータの収集方法とデータ分析手法について学びます。データ収集については《指標設定→質問紙の作成→調査対象の選定→調査の実施》という流れです。

データ収集

データ収集は以下の手順で行いましょう。

0. 調査倫理に配慮する

調査を行う前に調査倫理に配慮することが不可欠です。そもそも調査の濫発は調査対象への負担になります。まず先行研究や２次情報がないか調べてから調査にあたりましょう。

また調査対象者は質問に答えない権利もあります。調査によっては対象者のトラウマに触れる危険もありますので十分配慮しましょう。質問に答えない権利があることを明確に伝え、対象者が未成年の場合には保護者の許可をとることも必要です。

1. 指標を設定する

前回のおさらいになります。ロジックモデルから測りたいアウトカムを抽出→測定するための評価設問を考える→評価設問を元に測定指標を設定します。

2. 質問の作成

指標を元に質問を作成します。回答者の現状・意識・知識・行動などについて質問します。回答項目がMECE（もれなくダブりなく）になるよう注意しましょう。困った時は「その他」の項目を付け加えておけばもれが出ることはありません。

もちろん指標によっては質問が不要なことも往々にしてあります。「〇〇の人数」など定量的に測定可能なデータなどです。

※質問作成時の注意

質問方法によって分析に大きく影響してくるので注意しましょう。例えば施設の利用頻度などを聞くとき「よく行く・行く・たまに行く・行かない」のような選び方をさせると質問回答者の主観に強く影響されます。ですので「毎日行く・週に5~6日・週に3~4日・週2日以下」などの聞き方をすれば主観は入りません。

また１つの質問の中に2つ要素が入ってしまうミスもよく起こります。（例：「飲酒喫煙についてどう思いますか？」←飲酒は好きだが喫煙には反対の人が答えづらい。）

3. 調査対象の抽出

例えばA市市民を対象にした調査を行うとき、A市市民全員を調査対象にするのは時間もコストも膨大になってしまいます。またA市市民に対するアンケートを図書館前で行うのとゲームセンター前で行うのも違う結果が出てしまいそうです。

A市市民をそのまま縮小したような標本（サンプル）を抽出して調査を行いましょう。標本の抽出方法には無作為抽出法や層化抽出法などがあります。

4. 調査の実施

実際にアンケート、インタビューを行いましょう。アンケート・インタビューの実施方法についても郵送、メール、電話、対面など様々な方法があります。目的とコストに応じて適切な手法を選択しましょう。

またアンケート・インタビュー以外にも直接観察やワークショップ、テストの実施などの方法もあります。適当な調査方法を選択しましょう。

データ分析

まずデータには数値データと文字データの２種類があります。数値データは人数、回数、頻度、日付、環境データなど数値で表せるデータ。文字データは質問の自由記述、インタビュー、観察記録など文字が含まれるデータです。

分析とは物事を分解してそれらを成立させている成分・要素・側面を明らかにすることです。社会的インパクト・マネジメントの場合は特に介入（事業で行なっていること）によるインパクトを調べたいので以下の手法をよく利用します。

・過去データとの比較分析

去年と比べてある数値がどう変化したかを分析します。例えば「プログラム参加者の満足度が昨年比２ポイント増加した」ですとか「プログラム修了者が去年より20%減少した」などです。もちろん、過去データとの比較分析を行うためには過去にも同じデータを取っている必要があります。

問題としては過去データとの差が介入によるものなのか、年度が違うため何か他の要因で差が出たのか分かりづらいという点です。そのため分析の信頼性はやや低くなります。

・RCT（ランダム化比較試験）

ある介入を行うこと以外は公平になるように、対象の集団をランダムに複数の群（介入群と対照群など）に分け、その介入の影響を明らかにする比較試験です。データの信頼性は高くなりますがコストがかかり、また特定の対象のみに介入を行うということで倫理的ハードルも高くなります。

・文字データの分析

単純にアンケート結果の内容を事業の参考にすることもありますが、インタビューやアンケートで集まった文字データを対象にテキストマイニングを行うこともあります。テキストマイニングとは文字データの中から単語の出現頻度や出現傾向を取り出す分析手法ですが、分析結果をどう解釈するかが重要になります。

評価・報告

データの収集と分析が終わったらその評価と報告を行います。単にデータを収集するだけでなく、事業をどう改善して行けばいいのか分析・評価しPDCAサイクルを回すことが、社会的インパクト・マネジメントの重要なポイントになります。

評価及び報告についてはまた次回学びます！