読めばわかる　資格試験はこうして作られる

皆さんは資格試験を受けたことがありますか？

私がいるIT業界では、ソフトウェアを作っている会社の多くが自社製品の技術認定資格試験を実施しています。

有名なところではMicrosoftやOracleですね。

そんなIT系の資格試験の作成の裏側を紹介します。
私が作成の全工程に関わった、とある試験の場合です。

受験する人：作る人の比はどれぐらいでしょうか？
おそらく数万：数人だと思います。

そんな作る側の人の一人が私です。

作成したのは、ある製品の初級資格試験です。

０．作成の流れ

大まかには次のような工程で試験の作成を行いました。
番号を付けていますが、実施順序を明確につけることは難しく、実際にはいくつかの作業を平行して実施していました。

１．サンプル問題の作成

まずはサンプル問題をいくつか作成して、いろんな方に解いていただくことから始めました。

その際、実際にご協力いただいた方々から様々なご意見を伺い、反映していきます。

• こんな資格試験があったら受験しますか？

• 難易度はどうですか？

• ほかにどんな問題があったらいいでしょうか？

• 初級資格として適切な問題でしょうか？

などなど。
他にもたくさんの質問をしました。

こういった貴重なご意見を吸収して、その後に追加する問題の方向性や、出題範囲を定めていきました。

２．問題の追加とレビュー

さらに問題を追加し、網羅性を上げて、有識者の方々などにも同じような質問をします。

どれぐらいの問題数を用意したかについては、ここでは明かせませんが、相当数用意することは間違いありません。

なぜなら、問題数が少ないと簡単に合格できるようなものになってしまうからです。数回受ければ「ほとんど同じ問題」という状態は回避しなければなりません。

認定資格の役割は、「技術レベルを認める」ものですから、丸覚えで合格できてしまうようなものであれば、その役割を全うできないわけです。

３．受験者のペルソナ設定

ここでは、既に粗方設定済みの「受験者像」を少し詰めていきます。
例えば以下のようなものです。

• 該当製品をどれぐらいの年数経験しているか。

• 該当製品にどのような立場で関わっているか。

実際にはもう少し細かい部分まで設定します。

４．合格率の設定

ペルソナに合致する方が受験した場合の合格率を大まかに設定します。

あまりに高くても「初級技術認定」として相応しくありませんし、低すぎると敬遠されて、受験者が減少してしまいます。

このあたりのさじ加減が大切なんですね。

この設定値を「１０．本番前テスト」で検証します。

５．出題範囲の設定

初級という資格の性格上、あまり広い範囲から出題すると難易度が上がりすぎてしまいます。

そのため、ペルソナに合致する人たちに「知っておいてほしい」知識や技術、用語だけを出題範囲に設定していきます。

応用的な部分については、別途上位の資格試験を設定することにして、先送りにしました。

６．難易度配分と配点設定

だいたいの設定ができたら、製品を製造している会社の中で試行を行い、どれぐらいの合格率になったかを見ます。

そこから、ペルソナに合致する人ばかりが受験した場合の、実際の合格率を仮定して、難易度の調整を行っていきました。

どの難易度の問題をどれぐらい出題するかという細かい調整です。

７．問題数増加

さらに問題数を増やして、様々なパターンの出題が実施できるようにしていきます。

1つ数値が異なるだけで、まったく異なる問題を作成することもできますし、用語を1つ変えれば、解答が変わることもあります。

そういったバリエーションを増やしつつ、全く異なる毛色の問題も追加していきます。

８．受験実施環境選定

受験していただくには、ビジネス的なロジックに載せなければなりません。このような環境をサービス提供している会社は、それほど多くありません。

当然有料で受験していただくわけですから、信頼のおける環境であることも大変重要です。

また、実際に受験していただくシチュエーションやペルソナを考慮した上で、たくさんの方々に受験していただけるように環境を選定していきます。

９．有識者レビュー

製品を作った会社ですから、その製品の技術レベルは相当に高いです。
つまり有識者が山ほどいるわけです。

そのような方々にレビューをしていただいて、技術的な齟齬がないか、問題として成立しているか、現在の難易度設定が適切かなどを判定していただきました。

ここでは、専門家の貴重な意見をいただけるわけですから、適宜実際のテスト問題に反映していきます。

１０．本番前テスト

いよいよテスト環境にて、社内で仮想受験者を募って本番同等のテストを実施します。
申込から合格後の諸手続きまでをきちんと要件通りに実行できるかどうか。そして、最後の難易度調整を行います。

「４．」で設定した合格率の検証も実施します。
そのため、テストに協力していただく方には、事前にアンケートに答えていただき、ペルソナに合致している方と、そうでない方にわけました。

１１．本番

さあ、いよいよ本番です。

実際に本番運用が始まったら、受験者数や合格率など、本物の数値を取得することができます。

これらの数値を用いて、あまりにも想定とかけ離れているようであれば、調整する必要があります。

今回の場合は、ほぼ想定通りの合格率になったため、まったく調整は行いませんでした。

まとめ

いかがでしたか？

私が関わった資格試験の作成の流れを紹介しました。

ただ、これはたった一つの例です。

他の試験は異なるプロセスや方法で作成されているかもしれません。

ふーん。こんな感じなんだ～～。

という程度で、頭の中においていただければいいかなと思います。