勉強していない人としている人では、問題の難しさは変わるのか？〜異なる能力値分布が困難度に与える影響〜
人によって、問題の難しさは変わってくる。よく勉強している人にとっては、簡単な問題でも、勉強していない人からすれば難しいだろう。
本当にそうなのだろうか。
項目には母数がある。識別力と困難度だ。普通これらは受験者集団にテストを解かせた上で、知ることができる値だが、これらの値は、項目の作成が完了した段階で、固有の値を持つはずである。いわゆる真値と呼ばれる値だ。
勉強している人や勉強していない人などに解かせた時に推定値を知ることができるというだけの話で、実は解かせる前から困難度も識別力も、項目は真値を持っている。
つまり、項目は作成された段階で識別力と困難度を持っているので、勉強していようが、していまいが、そんなの関係なく、どんな人に対しても難しさは同じなのではないだろうか。
ということで、今回のシミュレーションでは100個の項目に対して、上位集団と下位集団の二つの受験者集団を用意する。
それぞれの受験者集団に同一の問題をぶつけて、項目母数の推定を行い、その推定結果を比較する。
今回の主張は、「項目母数の推定は受験者集団に関係なく、同一の推定結果が得られる」なので、予想としては「上位集団と下位集団に対する推定結果は同じような値が得られる」である。
この予想を確認するために、以下の手順でシミュレーションを行う
項目100個の母数の設定
受験者集団を２つ用意して、それぞれから反応行列を生成する
それぞれの反応行列から項目母数を推定
推定結果の考察
1. 項目100個の母数の設定
項目母数の分布は下記のように設定し、図１の散布図を得た。図１は横軸に困難度、縦軸に識別力を取っている。
識別力：$${a}$$ ~ $${U(0.5, 2.0)}$$
困難度：$${b}$$ ~ $${U(-2.0, +2.0)}$$
また、この時のテスト情報関数は図２のようになった。能力値$${-2}$$から$${+2}$$の範囲までなら十分に対応できそうだ。
2. 受験者集団から反応行列を生成する
今回の検証では勉強をしている集団としていない集団の比較なので
勉強する集団： $${θ_1}$$ ~ $${N(1, 1)}$$
勉強しない集団： $${θ_2}$$ ~ $${N(-1, 1)}$$
として、それぞれサンプルサイズは10,000とした。
項目母数と能力値母数を得ることができたので、それぞれの項目への正答確率を求められる。
得られた正答確率に対して一様乱数をぶつけて、正答確率が乱数より小さければ「１」を、そうでなければ「０」を得るようにする。
これらの操作を繰り返すことで、ダミーの反応行列が得られる。
3-1. 上位集団から項目母数を推定
勉強する集団$${θ_1}$$から生成した反応行列に対する推定結果が図３だ。左側が困難度の真値と推定値の比較で、右側が識別力の真値と推定値の比較である。それぞれは横軸に真値を取り、縦軸に推定値を取っている。また赤色の直線は$${y=x}$$の直線で、もし真値と推定値が近い値ならばこの直線上にプロットされる。
困難度の結果を見てみると、全ての項目で直線より下側に点がプロットされている。これは推定値が真値より低く推定されていることを表している。つまり設定した値より簡単ということだ。
上位集団に対しては、設定した困難度より簡単に感じたということだろうか。。
それでは次に下位集団に対する推定結果を確認する。
3-2. 下位集団から項目母数を推定
勉強しない集団$${θ_2}$$から生成した反応行列に対する推定結果が図４だ。
なるほど。。推定値が真値より高く推定されているな。下位集団に対しては難しいということか。。
4. 推定結果の考察
項目は作成された段階で識別力と困難度を持っているので、勉強していようが、していまいが、そんなの関係なく、どんな人に対しても難しさは同じなのではないだろうか
この予想はちゃんと否定された。同じ問題でも勉強している上位集団にとっては簡単で、勉強していない下位集団にとっては難しいようである。
統計における真値という概念を考えると、少し納得が行かない結果となったが、受験者集団に偏りを持たせた事で、推定結果にバイアスが生じたのであろうか。
理由ははっきりしないが、「テストを作る際に、受験者集団に偏りを持たせると、推定結果にも偏りが生じる」ということがよく分かった。
原因を究明するためには数理的なことを考える必要性がありそうだが、そんな難しいことはできないので、検証終わり■
5. おまけ。
能力値分布を標準正規分布にした場合の推定結果が図５であるが、ちゃんと真値と推定値が近い値になったので、使用した関数やダミーデータの生成方法に問題があるということでは無さそう。
また、上位集団、下位集団、偏りのない集団でも識別力に関しては結果が変わらなかった。
この記事が気に入ったらサポートをしてみませんか？