項目特性図で生徒の誤答を分析する
はじめに
こんにちは、ライフイズテックのサービス開発部でデータサイエンティストをやっているホンディーです。
サービスをより良いものにしていくために日々様々な分析を行っています。
教材の内容や問題とその解説を改善していくためには、ご利用いただいている生徒のみなさんの解答データを詳細に分析することが不可欠です。
このデータには、理解度や誤答の傾向が反映されており、僕たちはこれを基にして教材の質を高める方法を模索しています。
今日は、そのような解答データの分析で非常に便利な「項目特性図」というツールを紹介します。
※今回の記事では、複数の選択肢から正解を選ぶ形式の問題を想定して説明します。(自由記述の場合の問題の場合、誤答のプロットができないので正解率のみをプロットします)
項目特性図とは
項目特性図は、生徒の回答データを分析する際に用いるグラフィカルなツールで、折れ線グラフとして作図されます。
横軸は生徒の学力レベルを表します。事前準備として生徒を学力順に数段階にグループ分けしておきます。この記事では5段階としましょう。
そして縦軸にそれぞれの学力グループの生徒がその選択肢を選んだ割合をプロットします。１問例に取り上げて作成したのが次の図です。
これはA~Fの選択肢を持ち6択問題の項目特性図で、正解は太い実線で表記しているDです。
この図を活用することで、この問題が生徒にとってどのくらい難しかったのかを学力別に一目で判断することができます。
また、間違えた生徒はどのような間違え方をしたのかを深掘りしていくこともできます。
例示した項目特性図から読み取れる情報の例
先程例として挙げた項目特性図からどんな情報が読み取れるのか、具体的に見ていきましょう。
まず、学力グループが一番低いグループ1の生徒が選択した割合がそれぞれの線の左端です。
C,D,Fの3つの選択肢を選んだ生徒がだいたい同じくらいの割合で存在し、
このグループの生徒にとっては、A,B,Eは正解ではないことがわかるがそこから先を絞り込むことは難しいということがわかります。
また、6択問題として出題してはいますが、A,B,Eの3つの選択肢、特にEは選択肢としてほとんど機能せずに実質的に3択問題になっていることがわかりますね。こうなってくると、選択肢Eを選んだ生徒についてはよく考えずにランダムに答えている可能性も考えられます。
そして、次に学力がやや低いグループ2と、平均的な学力のグループ3を見ていきましょう。これらのグループの生徒は正解率がグループ1より上がり、Fと誤答する割合が下がっています。
しかし面白いのは、Cと誤答する生徒の割合は増えている点です。
グループ1と比べて正解率が上がってはいますが、確信をもってDと正解しているわけではなく、C,Dの2択に絞り込んで運良く正解している生徒も相当含まれると考えられます。
そして、より学力が高いグループ4とグループ5では約７割の生徒が正しい選択肢Dを選べるようになっていることがわかります。
その一方で、一番学力が高いグループ5の生徒でも2割の生徒がCを選択してしまっています。この選択肢Cは生徒たちにとって相当正解らしく見える選択肢のようですね。
様々な項目特性図
この項目特性図は問題によって様々な個性を見せてくれます。6個の4択問題で例をお見せしましょう。6問とも太い実線で引いているのが正解で、3本の破線が誤答の選択肢です。
縦並びの2個ずつを取り上げながら順番に見ていきましょう。
最初は左の項目特性図1と項目特性図4です。
これらはとても一般的な学力が上がると正解率が上がっていく問題です。
項目特性図1の方は学力グループ1の生徒でも６割近く正解できており難易度が低い問題だったと言えます。
項目特性図4は誤答の選択肢Bが良い仕事をしており、学力の低い生徒にとってはそれを選びたくなる物になることがわかります。
それに対して項目特性図1の方はそのような対抗馬になる選択肢が無いため、消去法で正解している生徒もいるリスクが考えられます。
次に中央列の2問を見ていきます。
項目特性図2の問題は、学力が一番高いグループの生徒でないとなかなか正解できず、最上位グループの生徒でも5割程度しか正解できていません。
項目特性図4の問題は、グループ1の生徒とグループ2の生徒で正解率が大きく違います。
通常、テストは生徒の学力に応じて点数に差がつくことが重要です。
比較的受験者全体の学力が低いテストにおいては項目特性図5のような問題が有効で、学力が高い生徒が受けるテストでは項目特性図2のような問題が有効とわかります。
最後に一番右の2個です。
項目特性図3の問題は、学力に関わらずほとんどの生徒が正解しています。
(一般論として)このような問題の存在は点数の底上げになるため、科目間の平均点の調整を目的に使われることがあります。また、生徒が0点を取ることを防ぐといった用途もあります。
もし、そのような意図が無いのにこのような易しすぎる問題が発生してしまったら、正解以外の選択肢をより確からしいものに差し替えるなどの対策が必要かもしれません。
右下の項目特性図6も学力によってはあまり正解率が変わらない問題です。項目特性図3と異なるのは正解率が極端に高いわけではない点です。
このような問題は、学力が低い生徒が正解して学力が高い生徒が不正解になる可能性も十分あるため、学力を測る目的のテストでの出題は望ましくないとされています。(ただし、ライフイズテックではこの問題はテストではなくドリルで利用しており、学力を測るのではなく、解答後の解説で学習して学力を上げることを目的として出題することがあります。)
項目特性図の課題
項目特性図をいくつか見ていただきましたが、これは便利そうだと思っていただけたのではないかなと思います。
しかしその一方で、項目特性図には複数の課題も指摘されています。
1つは学力レベルの定義が難しいことです。このnote記事は項目特性図の紹介を優先したので「事前準備として生徒を学力順に数段階にグループ分けしておきます。」と軽く流していますが、実際に生徒の学力を数値化することは必ずしも容易な作業ではありません。
また、5つのグループに分けるのにも複数の方法が考えられ、分け方によって結果が変わってしまいます。
こういった課題に対応するために、項目反応理論(IRT)というものが提唱されているのでそちらも今後のnoteで紹介していきたいと思います。実は今回例示した各項目特性図はその項目反応理論で学力を推定してグループ分けして作成しました。
作成した後の解釈の段階でも課題は残ります。
誤答の選択肢を分析するには、なぜ生徒がその選択をしたのかを理解することが重要です。
しかし、この解釈は複雑で、特に選択肢が多い問題や、生徒の思考プロセスが明確でない場合には難しいこともあります。項目特性図だけではなく実際の問題と選択肢の内容や生徒が受験した時の状況を確認しながら慎重に検討を進める必要があります。
この点に関しては、実際に問題を制作しているチームと連携して丁寧に分析を進めていきたいですね。
まとめ
選択式の問題について分析する時、まずは正解率から調べて次に選択肢ごとの選択率を見て生徒たちがどう間違っていたのかを見ていきます。
更にそこから一歩踏み込んで、どういう生徒がどう間違えたのかを深掘りしていく上で、この項目特性図は非常に便利なツールです。
また、一般的には項目特性図については各学力グループの生徒を十分な人数集めることが難しいとか、テストごとに受験者の学力水準が違うテスト間での比較には使えないといった課題も指摘されていますが、全国の学校や塾で導入いただいているライフイズテックの教材であればその点はクリアできることも多く、なかなか相性の良いツールだと感じました。
今後も問題の分析で活用していきたいと思います。
おしらせ
ライフイズテック サービス開発部では、気軽にご参加いただけるカジュアルなイベントを実施しています。開催予定のイベントは、 connpass のグループからご確認ください。興味のあるイベントがあったらぜひ参加登録をお願いいたします。皆さんのご参加をお待ちしています！
この記事が気に入ったらサポートをしてみませんか？