２章 研修評価研究を概観する
こんにちは、やまおかです。前回に引き続き、書籍のメモ的感想です。
書籍では、研修評価発展の代表的な３名として以下があげられています。
ドナルド・カークパトリック
ジャック・フィリップス
ブリンカーホフ
カークパトリックは、有名な「４レベル評価モデル」を提唱した研究者です。歴史を見ると、相当前というのがわかります。１９５９年に「ASTDジャーナル」に記事として掲載されたとのこと。
ジャック・フィリップスは、カークパトリックの「４レベル評価モデル」を発展させ、４レベルに、５レベル目「ROI（Return On Investment）：投資対効果」を追加して提唱しました。１９８３年に書籍で紹介。
ブリンカーホフ
「研修後の実践度合い」を定量的に数字で把握し、「実践内容」を定性的にインタビューする方法を提唱しました。
フィリップスの「ROIモデル」に対し、「研修効果を単体で分離して求めることに意味はない」と批判しています。・・・研修は全体のシステムの一部であり、相互に関係し合うという「システム思考」の考え方を、研修評価の中に入れ込もうとしていくのです。
現在、教育効果測定というと、カークパトリックの「４レベル評価モデル」をベースに考えられている教育現場が多いのではないでしょうか。私もレベル１「リアクションアンケート」＋レベル２「研修出口でのパフォーマンステスト」を実施し、アンケートコメントで定性評価を行い。研修出口テストで定量評価を行っている。その両方を用いて、研修の評価（受講者の評価ではない）を行い、研修が人材成長にとって効果的であったかを見ている。
教育効果測定のより詳しい手法を知りたい方は、以下の書籍に目を通すことをお勧めします。
中原先生の書籍でも、お名前が登場する堤宇一さんの書籍です。
日本の教育現場で、真面目にレベル１「リアクションアンケート」に取り組んでいる所は、どれぐらいあるのでしょうか。
アンケート質問紙の作り方（誤解をうまない質問文の作り方や五件法や七件方の尺度の選び方）や、集めたデータの分析方法など、真剣に取り組んでいる所は、どれぐらいあるのでしょうか。
真面目に取り組むと、非常に骨の折れる仕事になるかと思います。
レベル２もそうです。研修目標に照らし合わせ、目標が達成したと判断できるような「パフォーマンステスト」を研修後に実施している所は、どれぐらいあるのでしょうか。
興味本位で、日本の教育効果測定の現状を知ってみたい。（これも立派なリサーチ研修になるのか？）
「レベル１：反応」を「感情（Affective）」と「実用（Utility）」の２つに分けて、３４の文献をメタ分析しました。ここで「感情的反応」とは、「この研修は楽しかったか」という顧客としての満足度であり、「実用的反応」とは、「この研修は仕事に役立つ内容であったか」という実用度や役立ち度です。
レベル１の評価において、受講者が「研修で学習した内容は、仕事で活用できそうだ」と感じてくれないと、現場で力を発揮してくれません。レベル３「現場でのパフォーマンス」へ繋がる重要なファクターと感じました。書籍では「自己効力感」という表現が用いられています。
今、私は、レベル１「満足度」からレベル２「目標達成度」、そしてレベル３「現場での行動」と話を進めました。その先にはレベル４「現場での数値的成果」へとつながっていきます。
書籍では、この流れとは逆向きに繋がりを考える事が示され、バックキャスティングと表現され、ドナルド・カークパトリックの息子、ジェームス・カークパトリックが「新カークパトリック・モデル」として提唱したものです。
２章途中、本書キーワードとして「研修転移」が登場するが、以降の章で詳しく取り扱われるとおもうので、ここでは触れないことにする。
カークパトリックのモデルにより、「いかに受講者が楽しみ、満足するような研修を設計し運営するか」という満足度が過剰に重視されるようになった、と批判する研究者たちもいます。
私も結構、同意したい内容であった。研修に関わる人によっては、研修はエンターテインメントだと言う人もいます。私はこの考えに反対で、エンターテインメントだと言う人は、研修をエンターテインメント止まりでしか見ていない。その先の、人の成長や人の行動変容、研修であれば、更に先である、仕事場でのパフォーマンス発揮が視野に入っていないと感じる。
「４レベル評価モデル」には、受講者のレディネス、意欲、研修デザイン、個人特性、仕事とのつながりといった複数の学習要素が含まれていないことや、最近の転移研究でいわれているような職場の雰囲気や転移の仕組みといった観点が反映されていないといった指摘があります。
この辺りの要素は、レベル１「リアクション」やレベル３「現場での行動」に含まれるのかと私は考える。教育評価の目的に照らし合わせ、含めるのか含めないのかは、教育評価を企画した側が検討すればいいかと思う。
過去、私が堤宇一さんと、大真面目にリアクション（満足度）アンケートの開発をした際に出した要素は
レディネス（事前スキル、マインドセット、職場環境）
研修教材
研修設計
講師・学習支援者
学習環境
研修運営
相互交流
総合評価（この中に有益度という形で、業務への活用イメージを聞いている）
ジャック・フィリップスの「５レベルROIモデル」は鳴り物入りで１９９０年代に登場しました。研修の効果を、誰の目にも明らかに金銭的価値で表現できることに魅了された人は、少なくありませんでした。
しかし、結論からいうと、実際にはあまりこのモデルが実践されることはありませんでした。
やっぱり、そうだよね。といった感じです。金銭的価値に影響を及ぼす因子が多すぎるので、研修を実施したことにより、いったい幾ら儲かったのかを精度高く算出することが難しい。書籍では、「労多くして益少なし」と表現されています。
章末コラムは、
「厳密な研修評価：実験モデル」
「実験モデルに対する批判」
「企業研修評価の実験モデルは必要ない」
「巨人の肩に乗る」という姿勢
また次回宜しくお願いします。
よろしければサポート宜しくお願いします。研修用機材購入にあて記事にさせて頂きます。