アンケートの選択項目をスコア化する
こんにちは！ 最近、生成AIでどうビジネス化を進めようかと思い巡らせているリップルトーク分析チームです！
さっそくですが、いまアンケート解析をどう生成AIでできるか試行錯誤しているところです。その分析の一環として、選択式の設問をどうスコア化するかを考えて取り組んでいます。
アンケートの結果をスコア化したい！
アンケートの結果って、対象者から取得したとしても、どう使おうか悩みませんか？ 設問が少ないアンケートであればざっとみるだけで判断できますが、設問が多いものや、聞くことが多かったアンケートって、回答内容が多くなりどう解釈していいか毎回わからなくなっていました。
今回取得したアンケートの回答者は250名以上、設問も全部で37問もあり、回答結果を解釈するのは非常に難しく感じました。（実際に手作業で分析するのは大、、、せいぜいクロス集計くらいですね。）
ということで、生成AIを使って簡単にアンケート内容を可視化できないかをやってみました。
まずは選択式をスコア化
取得したファイルをExcelに変換して、ChatGPTに取り込み分析を開始しました。ChatGPTからの提案は、選択式の項目をスコア化するのがいいのではないかとのこと。選択式のところは特に数値を分けていなかったのですが、ChatGPTが自動的にスコアリングを提案してくれます。
今回はある訓練を実施したの後の参加者アンケートだったので、訓練の習得度、理解度、満足度をスコア化するように指示しました。
■スコア化する内容
・習得度 →研修を習得できたか？
・理解度 →研修内容を理解したか？
・満足度 →研修を満足できたか？
このスコア化の内容は自分で考えたものです。
■５段階のスコアリング
1. 「大変よい」: 5点
2. 「よい」: 4点
3. 「ややよい」: 3点
4. 「普通」: 2点
5. 「やや不満」: 1点
6. 「不満」: 0点
この５段階スコアリングは、ChatGPTがアンケートファイルを解析して出力された提案内容でした。
スコア化の分析プロセス
37問からChatGPTが選択した設問は4問、このあたりはテキストを読み込んで自動で判断してくれます。出力された結果は以下の通り。
1. 習得度（Q16等）
「研修を習得できたか？」に関する質問。
この設問から習得度を測ることができます。
2. 理解度（Q14等）
「研修内容を理解したか？」に関する質問。
この設問から理解度を測ることができます。
3. 満足度（Q04, Q24等）
「研修を満足できたか？」に関する質問。
これらの設問から満足度を測ることができます。
それぞれの設問の回答をスコアに変換するために、以下のようなスコアリングシステムを提案します：
・「大変よい」: 5点
・「よい」: 4点
・「ややよい」: 3点
・「普通」: 2点
・「やや不満」: 1点
・「不満」: 0点
このスコアリングシステムを適用して、データセット全体で各設問の平均スコアを計算し、習得度、理解度、満足度の平均スコアを算出します。データを確認し、スコア化のプロセスを開始します。
生成された結果によると満足度はそのままスコア化できました。平均スコアは約4.2、参加者が研修に対して比較的満足にしていることが示されました。
しかし、習得度と理解度についてはデータの取り扱いに問題があり、スコアを算出することができなかったようです。ただこの問題はそもそもChatGPTが提案してきたスコアリングが単に合わなく、理解度は”大変分かりやすかった”、”分かりやすかった”、習得度は”とても理解できた”、”理解できた”が選択肢だったので合わないのは当然でした。
ここはChatGPTがデータ調整してくれるので（最初から調整してくれればいいとは思いますが。。。）、スコア化は実行できました。調整された内容は以下の通りです。
習得度（Q16）と理解度（Q14）の回答内容を確認した結果、以下のようなカテゴリーが存在します。これらの回答に基づき、以下のスコアリングシステムを提案します：
理解度（Q14）のスコアリング
・「大変分かりやすかった」: 5点
・「分かりやすかった」: 4点
・「どちらかと言えば分かりにくかった」: 2点
・「分かりにくかった」: 1点
習得度（Q16）のスコアリング
・「とても理解できた」: 5点
・「理解できた」: 4点
・「どちらかと言えば理解できなかった」: 2点
・「理解できなかった」: 1点
これらのスコアリング基準を用いて、再度習得度と理解度の平均スコアを計算します。
これらの解析結果から習得度、理解度、満足度のスコア化ができました。
スコア化の結果とスコア数値の理由は以下の通りです。
習得度、理解度、満足度のアンケート回答をスコア化した結果は以下の通りです：
●習得度：平均スコアは約4.31です。これは回答者が研修内容をかなりよく習得できたことを示しています。
●理解度： 平均スコアは約3.84です。回答者が研修内容を理解できたと感じているものの、完全な理解には至っていない可能性があります。
●満足度：平均スコアは約4.20で、これは以前の計算結果と一致しています。回答者の研修に対する満足度は高いと言えます。
これらのスコアは、研修の全体的な成功を示しており、特に習得度の高さが目立ちます。他に分析や調整が必要な点があればお知らせください。
これで各設問からのスコア化が実施できました。生成AIでこのような分析する上で、前段階の下処理は重要ですね。この結果が簡単なプロンプトだけで出力できればいいんですが、まだまだそんなに簡単に使うことはできません。ただ、今後は生成AIからの提案で実施するのではなく、あらかじめスコアリングの指示を出して解析させた方が良いかもと思います。
どうしてもChatGPTの提案ベースでやろうとすると、おそらく生成AIの問題である”再現性”の問題にぶつかるので、その”揺らぎ”をできるだけ少なくするためにも、ある程度詳細を書く方がいいのかもしれません。
スコア化された数値からの解析をおこなう
まずはスコアリングモデルが出来上がったので、そのモデルに基づいてより詳細な分析を行なっていきます。今回の回答者251名は、82の団体に所属する人たちでした。この団体毎にスコア化して、今回の訓練に対する理解度などを比較検証しようと思います。
ここで重要なのは、ChatGPTに指示する時は同じスレッドでまた指示を出すということです。スレッド毎にある意味モデル化していっていることになるようなので、そのまま続行させます。（実はここが怖いところで、別のスレッドで同じようなことを指示てしても結果が大きく違う場合が多々あります。これがほんと怖いです。。）
各団体ごとに習得度、理解度、満足度のスコアを計算しました。以下はその結果の一部です：
Aグループ：
・理解度: 4.0
・習得度: 4.0
・満足度: 4.0
Bグループ：
・理解度: 4.0
・習得度: 4.33
・満足度: 4.5
Cグループ：
・理解度: 4.5
・習得度: 5.0
・満足度: 5.0
Dグループ：
・理解度: 4.5
・習得度: 4.5
・満足度: 4.75
Eグループ：
・理解度: 5.0
・習得度: 5.0
・満足度: 5.0
これらの結果は各団体がどのように研修を受け取ったかを示しています。スコアは各団体の理解と習得の度合い、そして全体的な満足感を反映しています。すべての団体のデータが必要であれば、追加で提供することも可能です。他に分析や追加で見たい情報があれば教えてください。
各団体毎に理解度、習得度、満足度それぞれスコア化されました。これでどの団体のスコアが高かったのか、低かったのか一目瞭然になりました。また、今回のスコア化した元のデータは選択式の設問なので、データ自体もわかりやすく説明もしやすいので、この方法はかなりありだと思いますね。
単純に選択されたものを集計しているだけですが、明確で分かりやすい分析方法だと思います。
スコア化の課題や問題点は？
スコア化について、生成AIを使えばかなり楽にスコア化できることがわかりました。５段階ほどの選択肢であればスコア化をすることで、比較検証することが可能になります。ただ記述式のところや、選択肢が多種多様であると途端にスコア化は難しくなります。ある程度スコア化を見越した上で選択式の設問を作るようにした方がいいと思います。
あと、今回81団体あったのですが、スレッド上では全てのスコア結果は表示されませんでした。毎回途中の団体までしか実施してくれませんでしたので、これはどうしたものかと考え込んでしましました。（こちらの解析結果をレポート化して提出する必要があったので。）
結果として解決できたのですが、それはChatGPTにアップロードしたExcelファイルにスコアを追加してもらうことです。これだとChatGPTは元のExcelに列を追加して、参加者毎にスコア数値を記入してくれます。
まあ、最初からやってくれとは思いますが、生成AIはなんでもできるというよりも、どう指示を与えるかで結果が大きく変わってくるので、活用するにはまだまだ修行が必要ですね！
さいごに
今回はアンケートデータのスコア化について、取り組んでみました。
生成AIの事業化を目指すにあたり、いまほんといろいろ試行錯誤しています。今はChatGPTとチャット形式で指示を与えていますが、ある程度生成結果が安定してきたら、Pythonを使って自動処理化してWEBアプリで提供できるようにしたいと思っております！言っているうちにどんどん生成AIが進化していってるので、まあ時間の問題でしょうね！
GIRONもどんどんガンバって生成AIを活用して、みなさまのお役に立ちたいと思っておりますので、引き続きよろしくお願いいたします！
さて、今回の記事はいかがだったでしょうか？
着々と生成AIを活用してなんとか前へと進んでいるリップルトーク分析チームです！
僕たちにご興味があるかた、お気軽にメッセージください。お待ちしております！！
上記についてご質問がございましたら、リクエストを送信してください