受験者の解答パターンからみた多肢選択式問題の正答確率の変化

次のような五肢択一式試験（基本型）については、五つの選択肢のうちの一つが必ず正答になるため、受験者の知識が全く無くとも1/5（20％）の確率で正答となります。

【五肢択一式試験（基本形）】
問題文　次のA～Eの5つのうち正しいものを一つ選べ。
A．◯◯◯◯◯◯◯◯◯◯◯◯◯◯◯
B．◯◯◯◯◯◯◯◯◯◯◯◯◯◯◯　
C．◯◯◯◯◯◯◯◯◯◯◯◯◯◯◯
D．◯◯◯◯◯◯◯◯◯◯◯◯◯◯◯
E．◯◯◯◯◯◯◯◯◯◯◯◯◯◯◯
1. A 　2. B　   3.C 　4. D 　5. E

しかし、通常、受験者が問題を解く際に、その問題についての知識が全く無い（わからない）ということは少なく、実際には5つの選択肢のうち、誤答とわかった選択肢を除いて、答えを導いていくという「解答行動」をとることが多いと考えられます。
その具体的な「解答行動」は次のようになります。

五肢択一式（基本形）の正答確率の変化

まず、受験者が問題の選択肢を見て、正答と判断したものを「○」、誤答と判断したものを「×」、わからないものを「？」とします。
ある五肢択一式問題の選択肢（1、2、3、4、5）のうちの二つの肢のみが誤答「×」とわかった場合

（例えば1｢？｣、2｢×｣、3｢×｣、4｢？｣、5｢？｣の場合）は、正答は残りの三つの「わからない」（正誤判断がつかない）選択肢（この場合1、4、5）のうちの一つとなるため、合理的な受験者は、この三つからランダムに正答を選ぶため、実際の正答確率は1/3（33％）になると考えられます。

このような、受験者の知識量と正答確率の関係について、ここでは五肢択一式試験 を例に、受験者の知識レベル（例えば五肢のうち二つの選択肢の正誤が判断できるなら、その受験者の知識レベルは「２」とし、5つの選択肢の一つもわからない（正誤の判断ができない）場合の知識レベルは「０」とします）に応じた正答確率の変化をみていくと、次のように分析することができます。

1)受験者がA～Eのうち一つもわからない場合　【知識レベル「０」】
（全くなにもわからないので）五つの選択肢からランダムに一つの正答を選ぶので、正答確率は1/5(20％)となります。

2)受験者がA～Eのうち一つの選択肢のみわかった場合【知識レベル「１」】
その選択肢が「◯」とわかれば(正しいもの一つを選ぶ問題なので）正解となるため正答確率は１(100％)となります。他方その選択肢が「×」とわかれば残りの4つの選択肢から正答を選ぶので正答確率は1/4(25％)となります。

3) 受験者がA～Eのうち二つの選択肢のみわかった場合【知識レベル「２」】
わかった選択肢のうち一つが「◯」もう一つが「×」とわかれば、正解となるため、この場合の正答確率は１(100％)。二つとも「×」とわかれば、残りの三つの選択肢から正答を選ぶので正答確率は1/3(33％)となります。

4) 受験者がA～Eのうち三つの選択肢のみわかった場合【知識レベル「３」】
わかった選択肢のうち一つが「◯」もう二つの選択肢が「×」とわかれば、正解となるため、正答確率は１(100％)。三つとも「×」とわかれば、残りの二つの選択肢から正答を選ぶので正答確率は1/2(50％)となります。

5) 受験者がA～Eのうち四つの選択肢のみわかった場合【知識レベル「４」】
わかった選択肢のうち一つが「◯」他の三つが「×」とわかれば正答確率は1(100％)。四つとも「×」とわかれば、残りの一つの選択肢が正答となるので正答確率は1(100％)となります。
（もちろん受験者が5肢全てわかった場合【知識レベル「５」】正答確率は1(100％)となります。）

上記それぞれのケースの出現確率を考慮した正答確率は図(五つの選択肢から正答肢一つを選ぶ五肢択一式）のようになります。

　次に、組合せの問題について考えてみましょう。

四つの選択肢から二つの正答肢の組合せを選ぶ形式の正答確率の変化

参考までに次のような問題形式の場合を考えてみましょう。

【四つの選択肢から二つの正答肢の組合せを選ぶ形式】
問題文　次の1～5のうち正しいものの組合せを一つ選べ。
A　◯◯◯◯◯◯◯◯◯◯◯◯◯◯◯
B　◯◯◯◯◯◯◯◯◯◯◯◯◯◯◯　
C　◯◯◯◯◯◯◯◯◯◯◯◯◯◯◯
D　◯◯◯◯◯◯◯◯◯◯◯◯◯◯◯
1. AB 　2. AC 　3. BC 　4. BD 　5. CD

選択肢は１～５の五肢ですが、A～Dの組合せパターンは、全部で6個（4C2＝6　AB、AC、AD、BC、BD、CD）になります。（作題者はこのうち5個を選択肢に起用することになります。）

1)受験者がA～Dのうち一つもわからない場合【知識レベル「０」】
受験者は、適当に（五つの選択肢から）正答を選ぶので正答確率は1/5(20％)となります。

2)受験者がA～Dのうち一つの選択肢のみわかった場合【知識レベル「１」】
それが「◯」とわかれば、それと組になるもの(最大3パターン)から正答を選ぶので正答確率は1/3(33％) になります。
（例えばAが「○」とわかれば6個の組合せのうちAB、AC、ADの三つからランダムに選ぶことになります）。
他方、その一つが「×」とわかれば、それ以外の組合せから正答を選ぶので正答確率は1/3(33％)になります。
（例えばAが「×」とわかれば6個の組合せのうちA以外のBC、BD、CDの三つからランダムに選ぶことになります）。

3)受験者がA～Dのうち二つの選択肢のみわかった場合【知識レベル「２」】
そのうち二つとも「◯」とわかれば、それが正解になるので正答確率は1(100％)となります。
他方、二つとも「×」とわかれば、それ以外の組合せから正答を選ぶので正答確率は1(100％)となります。（例えば、AとBが「×」とわかれば、それ以外の選択肢はCDしかないので正答は一つに決まります）

また、一つが「○」もう一つが「×」と分かれば、「○」が含まれる組合せから「×」との組合せを除いて選ぶため正答確率は1/2(50％)になります。
（例えば、Aが「〇」とBが「×」とわかれば、Aとの組合わせのうち、Bが含まれないものは、AC,ADしかないので、この二つからランダムに正答を選ぶことになります）

4) 受験者がA～Dのうち三つの選択肢のみわかった場合【知識レベル「３」】
一つが「◯」もう二つが「×」とわかれば、消去法で正答確率は1(100％)となります。
（例えば、Aが「〇」BとCが「×」とわかれば、全部で6個の組合せのうち、AB、AC、BC、BD、CDが排除されADだけが残ります）

他方、二つが「◯」もう一つが「×」と分かった場合も正答確率は1(100％)となります。

これらのケースの出現確率を考慮した正答確率は図（四つの選択肢から二つの正答肢の組合せを選ぶ形式）のようになります。

この図からわかるように、｢四つの選択肢から二つの正答肢の組合せを選ぶ形式｣の場合、受験者の知識レベル に応じて正答確率は高くなりますが、受験者の知識レベルが3（すなわち、4肢のうち3肢の正誤がわかる知識レベル）の場合、正答確率は１(100％)となることがわかります。

五つの選択肢から二つの正答肢の組合せを選ぶ形式の正答確率の変化

同様に「五つの選択肢から二つの正答肢の組合せを選ぶ形式」についても正答確率を計算して、これまでの各問題形式の違いによる「受験者の知識レベル」と「正答確率」の関係を整理したものが次の図のようになります。

まとめ

一般論としては、受験者の知識レベルが低ければ、その分、正答確率が低くなる方が望ましいと考えられます。（受験者の能力を正確に反映できるからです）

あらためて、「問題形式の違いによる受験者の知識レベルと正答確率の関係」を整理した図をみると以下のことが分かります。

「五つの選択肢から一つの正答肢を選ぶ形式(基本型)」は、受験者の知識レベルが高くなるにつれて、正答確率が(知識レベル0の時から)　0.2→0.4→0.6→0.8→1.0と直線的に上がっていき5肢の中で4肢までの判断がつけば正答確率は1(100％)となります。
（すなわち0.2(20％)のゲスによる正答確率が加わるものの、知識レベルと正答率が比例関係にあり、受験者の知識レベルがそのまま正答確率に反映される理想的な形式であるといえるのです。）

他方「五つの選択肢から二つの正答肢の組合せを選ぶ形式」の場合、受験者は（通常の五肢択一式のように、一つではなく）二つの正答肢が分からないと正答肢に行き着くことができません。そのため、グラフからは、知識レベルが低いと消去法による正答の推測ができないため、全体的に正答確率は低めになることが分かります。
（すなわち、「五つの選択肢から一つの正答肢を選ぶ形式(基本型)」に比べると、全体的に難しくなる傾向になることが分かります。）

「四つの選択肢から二つの正答肢の組合せを選ぶ五肢択一式」の場合、受験者は二つの正答肢が分からないと正答肢に行き着きませんが、選択肢の組合せによって正答に行き着くことが可能になるため、図にあるように「五つの選択肢から一つの正答肢を選ぶ形式(基本型)」に比べると、受験者の知識レベルが低いときは、正答率は低くなりますが、受験者の知識レベルが上がるにつれ正答確率は高くなることが分かります。
（すなわち、知識レベルの低い受験者にとってはより正答しにくく（難しく）、知識レベルの高い受験者にとってはより正答しやすく（易しく）なる傾向になるのです。）

以上のことから、受験者の能力（知識レベル）を正しく反映した問題は、（確率論的には）「五つの選択肢から一つの正答肢を選ぶ形式(基本型)」であることがわかるのです。

一言に「組合せ問題」といっても、その問題形式によって、受験者の正答確率は異なってくるのです。
ワンランク上の人材選抜をするためには、これらの特徴を理解したうえで、適切な問題作成が重要になります。
今回も最後までお読みいただきありがとうございました。（Mr.モグ）