教育の効果はどう測る？②　実装評価

教育の効果測定シリーズ第二弾です。前回は、健全な評価のためには関係者間でセオリーオブチェンジについて共通認識を持つことが重要とお伝えしました。

https://note.com/sugo_ron/n/na2e96eda43e7

では、セオリーオブチェンジを使ってどのように評価を行うのでしょうか。Gateway to CollegeというアメリカのNPOの具体例を使ってご紹介します。

2つの評価

まず教育プログラムの評価においてよく混乱が起きるのは、「計画通りに実行できているか」と「どんな効果があったか」を混ぜてしまうことです。

① Implementation evaluation　実装評価：計画通りに実行できているか
② Impact evaluation　インパクト評価：どんな効果があったか

例えば奨学金を配布するプログラムなのに、そもそも計画通りの人数に配布できなかった場合、もし計画通りに奨学金を配布できていた場合の効果は測定できません。それなのに奨学金プログラムに効果がないという結論を出すのはおかしいですよね。そのため、まず計画通りに実行できたかどうかの実装評価（Implementation evaluation）を行うことが一般的です。

今回は具体例を使って①の実装評価をご紹介します。

実装評価の具体例 Gateway to College

Gateway to College は厳しい環境で育ち高校を中退してしまう生徒たちがまともな仕事に就くことができず困窮してしまう問題を解決するためにアメリカのポートランドで始まり多くの州に広まったプログラムです。
そのプログラムについて、MDRCというプログラム評価を専門としたNPOが実装評価を行いました。96ページもある大作レポートです。

https://www.mdrc.org/sites/default/files/gateway_to_college_FR.pdf

一部を抜粋します。
A　セオリーオブチェンジ
B　収集データ
C　参加者属性
D　参加率、離脱理由
E　結論

A　セオリーオブチェンジ

Gateway to Collegeのセオリーオブチェンジは下記です。（レポートを参考に著者作成）

高校を中退してしまった、もしくは中退しかけている生徒が、中卒になってしまい仕事に就けないという問題を解決するためのプログラムです。高校卒業単位をとるために並走し、高等教育機関であるコミュニティカレッジへの移行を支援します。

B　収集データ

このプログラムの実装評価を行うために評価機関であるMDRCは以下のようなデータを集めました。
定量的データ
- 応募者、参加者の属性（学歴、人種、社会経済状況、直近の在籍状況等）
- プログラム開始12ヵ月後の参加状況
- 参加者の学業成績
定性的データ
- スタッフおよびその他の主要関係者へのインタビュー
- プログラム参加者へのグループインタビュー
- 授業参観を含む実施訪問

C　参加者属性

平均年齢17.3才、カリフォルニア州ではラテン系が多く70％、コロラド州では黒人が多く約60%でした。他にも家で話す言葉が英語以外の参加者が全体では30％で、既に中退した人は全体の30％でした。

なぜ参加者の属性が大事かというと、きちんと狙ったターゲットに届いているかを確認するためです。環境が厳しくなかなか高校を卒業ができないマイノリティ層に支援を届けたかったのに、単にお金持ちで教育熱心な層ばかり参加していたなんてことがあるかもしれません。

他にも高校卒業が難しいと感じる理由を見てみると、学力に問題がある（83%）出席率が足りない（72%）家族と問題がある（48%）友達と問題がある（45%）誰も自分をケアしてくれない（42%）などが多くを占めています。

非白人や英語が母国語でない参加者が多く、高校卒業が難しい理由も環境の厳しさが伺えるものが多いため、支援を届けたい層にリーチ出来ていると言えそうです。

D　参加率、離脱理由

コロラド州では、参加者の40％は無事単位を取得して卒業、28％はまだ卒業は出来ていものの３学期間プログラムにきちんと参加、残りの33％は途中で離脱したようです。

一方、カリフォルニアでは、参加者の7％が無事単位を取得して卒業、16％はまだ卒業は出来ていものの３学期間プログラムにきちんと参加、残りの78％は途中で離脱したようです。

これだけをみるとコロラド州のプログラムは優秀でカリフォルニア州はそうでなかったようにみえますが、上記の「C 参加者属性」をみるとカリフォルニア州の参加者は非白人や母国語が英語以外の参加者が多いことがわかります。元々ドロップアウトリスクの高い、つまり本当に支援を届けたい層にプログラムを届けられている分、卒業の難易度も高いのかもしれません。

また、プログラム離脱の理由についても調査しています。

離脱の理由は多い順に、学業上の目標を達成したから（21%）健康や家族問題（21%）仕事が忙しくて時間がとれない（17%）等でした。1番の理由はポジティブなもののため、離脱率が高いことは必ずしも悪いことではなさそうです。ただし、その他の理由については改善の余地があるかもしれません。

E　結論

Gateway to Collegeの3拠点でのプログラムは概ね設計通りに実装された。ただし、3拠点間で定着率や移行率のバラツキが大きい。地域に応じた柔軟さを保ちつつも全国で高品質な支援を提供できるよう、具体的なガイドラインを取り入れるとよいのではないか。

編集後記

計画通りに実行されていなければ、効果があったかどうかはわからない。当たり前のようですが混同されがちです。

ゆとり教育では「総合的な学習の時間」という探究学習などのための時間が導入されました。自由度の高い時間を増やすことで、問題解決能力などを伸ばすことが目的でした。しかし実際には、その時間が遅れた教科授業の補填や行事の準備のために使われたケースも多かったのではないでしょうか。その場合、問題解決能力の向上が見られなかったとしても、そもそも実装がきちんとできていなかったわけです。現場レベルで実現できないような無茶な計画だったのかもしれませんし、人やお金のリソースが足りなかったのかもしれません。

問題がどこにあったのかを特定するためにも、まずは計画通りに実行できているか、出来ていないとしたらそれは何で何故なのかについて評価することが大切です。

尚、日本でも近年導入されたプログラミング教育についてNPO法人みんなのコードが実態調査を行っています。実際にどの程度授業に導入されたのか、教員研修の参加率など実装に関する調査が含まれています。（私も諸外国のプログラミング教育調査部分を担当いたしました。）よかったらご覧ください。
https://speakerdeck.com/codeforeveryone/programmingeducationreport2021

文責：識名　由佳　

参考文献

Gateway Program
https://achievingthedream.org/gateway-to-college/

Willard, J. A., Bayes, B., & Martinez, J. (2015). Gateway to College: Lessons from Implementing a Rigorous Academic Program for At-Risk Young People. In MDRC. MDRC. https://eric.ed.gov/?id=ED560609
https://www.mdrc.org/sites/default/files/gateway_to_college_FR.pdf