優秀な人材を逃がさない「記述式試験」（その３）

　前回に引き続き、「記述式試験」について解説していきますが、今回は、「記述式試験」の採点誤差を少なくするための方法について、考えていきたいと思います。（Mr.モグ）

「記述式試験」の測定評価上の課題

「記述式試験」は、応用的な思考能力、表現力、独創性などの受験者の持つ高次の能力を多面的に評価できるとされている反面、客観式試験（多肢選択式試験）と異なり、（機械採点ではなく）人間が採点することによる測定評価上の次のような課題が挙げられています。

①採点者の主観が入る可能性（採点のバイアスの問題）
②採点に時間がかかる可能性（採点時間のコストの問題）

ここでは、このような課題を、いかに少なく出来るかについて検討していきたいと思います。

「採点のバイアスの問題」への対応

①採点者の主観が入る可能性（採点のバイアスの問題）については、様々な工夫がなされています。いくつか例を挙げながら説明していきましょう。

採点者同士の打合せや研修の充実
作題者と採点者が同じであることが、一番望ましいのですが、両者が異なる場合は、作題趣旨、評定のポイントなどに関する綿密な打合せが必要になります。また、採点途中においても、必要に応じて採点者同士が情報を共有できるようにしておくことも有効です。

通常は、試験の種類にもよりますが、複数の採点者がいる場合、採点途中での気づき（例えば、当初想定しない回答が出た場合の点数の付け方等）が共有できる体制が望ましいでしょう。

必要に応じて、採点者が一堂に集まることのできる体制にしたり、隔離された部屋で採点者全員が（同じ時間帯で）採点することも、よく行われます。

さらに、採点者に対しては、「記述式試験」の採点において、どのようなバイアスが生じうるのか（例えば、単に字が上手だからといって評価を高くするのは、評価基準とは異なる採点になることや、レベルの高い記述答案が続いた後の、普通レベルの記述答案の評価は厳しくなりがちである等※）について、できるだけ具体的に説明し、そのような評価バイアスに囚われないようにすることも重要になります。

※実際に「字の上手さ」と「採点結果」との関係を調べてみたところ、相関が高いとは言えませんでした。しかし、試験官によっては、字が上手い方が比較的点数が高い傾向があるものもありました。（もちろん、非常に読みにくい字で書かれた答案は、問題外ですが）これらのバイアスは、採点前の研修などで解消することが可能なのです。

もちろん、どの受験者が書いた記述答案かわからないようにして、（受験者の名前を伏せて）採点における無用な先入観を排除することは、言うまでもありません。

採点方法上の工夫
「記述式試験」の採点においては、評価の観点や基準をあらかじめ決めて、採点者間での十分な打合せをすることはもちろんですが、試験の課題によって、評価項目別に配点を決めておくことが一般的です。
（例えば、「構成力」、「内容」、「（課題の中で与えられた）資料の読み取り（理解）度合い」、「独創性」、「表現のわかり易さ」等の評価項目別に配点を決めるケースなど）

この場合、採点者の点数のブレは小さくなる傾向にありますが、一方で、（採点者は答案を何回も読み返して、評価項目を確認しなければならないため）採点者の負担が大きくなり、結果的に採点時間が長くなったり、採点者の自由裁量の範囲が狭められることになります。

さらに、受験者の解答によっては、当初出題者側が想定していた項目に必ずしも合致していないものの、全体的にはよく出来ている答案の採点をどう評価するかといった問題も生じます。

他方、項目ごとに細かい評定項目を定めずに、比較的大きな評定方針のみを定める評価方法の場合は、採点者の自由裁量の範囲が広がり、総合的判断による採点がしやすくなりますが、個々の採点者の主観に左右される可能性が高くなります。

このため、実際の「記述式試験」における選抜においては、評価項目の数や配点、採点方法については、その「記述式試験」の問題の内容や選抜の目的等も考慮しながら適当なバランスを考えて決めることが重要になります。

さらに、前述のように採点者の主観が入る可能性を最小化するために、一つの答案について必ず複数人（例えば2人）による採点を行い、両者の採点結果に一定以上の差がある場合は、改めて両者で話合って再度採点する。もしくは、新たに第３者目の採点者による採点を行い点数を調整するといったことが有効になります。

「採点時間のコストの問題」への対応

次に、②採点に時間がかかる可能性（採点時間のコストの問題）については、以下のような工夫がなされています。

記述式問題作成上の工夫
「記述式試験」は、その性格上、採点に時間がかかることから、一般的に限定された（少数の）課題しか出題できません。その場合、（少数の課題であるが故に）受験者によっては、たまたまその分野の知識が少ない課題であったり、逆に「山が当たって」の自分の得意な分野の課題になることもあり得ます。
そのため、記述式問題は、（そもそも出題数の多い客観試験の場合に比べて）比較的容易に作ることが可能ではあるものの、一部の受験者に有利（もしくは不利）にならない問題にすることが重要になります。

さらに、課題によっては、限られた試験時間内で受験者が記述できるように、解答する上で必要な資料を、あらかじめ問題の中に含めておき、受験者が解答しやすいように工夫することや、採点時間のコストと、受験者の解答し易さを考慮して、条件付き記述型（受験者は課題に対していくつかの条件を与えられ、その条件に沿って論述する形式）にすることも効果的です。具体的には、次のように論述形式をあらかじめ規定することが考えられます。

【条件付き記述型の問題例】
〇次の課題について、以下のキーワードを用いて600字以内で論述せよ。その際には、用いたキーワードに下線を引くこと。
〇次の参考文献を読んだ上で、この問題を解決するために必要な課題を二つ挙げ、それぞれについて解決策を具体的に述べよ。
〇次の課題を解決するために必要な事項を二つ挙げるとともに、それを挙げた理由を簡潔に説明せよ。

このような条件付き記述型の問題の場合は、ある程度ポイントを絞った採点が可能になることから、採点にかかる時間やコストを削減することができます。（先の問題例ケースですと、答案用紙の下線の書かれたキーワードがあるか否かを元に効率的な採点が可能になります。また、与えられた条件に沿って解答しているかによってポイントを絞った採点が可能になるわけです。）
なお、野澤ら※は採点が進むにつれて
１）所要時間が減少する傾向にあること（採点効率が次第に上がっていく傾向があること）、
２）「出来の良い答案」よりも「中間の答案」の方が採点に時間がかかること、
３）採点に自信があると(採点者が）感じた答案では所要時間が大幅に短くなる傾向にあること、
などを実験から明らかにしています。

※野澤雄樹、堂下雄輝、島田研児、ベネッセ教育総合研究所「論述採点の正確さと所要時間に関する研究」日本テスト学会 第13回大会,2015

まとめ

「記述式試験」は、応用的な思考能力、表現力、独創性などの受験者の持つ高次の能力を多面的に評価できるとされています。
その一方で、客観式試験（多肢選択式試験）と異なり、（機械採点ではなく）人間が採点することによる測定評価上の二つのバイアス（①採点者の主観が入る可能性（採点のバイアスの問題）、②採点に時間がかかる可能性（採点時間のコストの問題））あるため、これらのバイアスを低減させ、「記述式試験」の採点誤差を少なくするための方法や工夫について解説しました。

次回は、「記述式試験」の問題を作成する上での留意点について、具体的に考えていきたいと思います。
今回も、最後までお読みいただきありがとうございます。（Mr.モグ）