生成ＡＩのモデル、いろいろ試してみた
本市が使用している生成AIのシステムでは基本的にGPT-3.5 TurboとGPT-4が利用できますが、基本的にはGPT-4を利用しています。
しかし、実は職員に公開していないだけで、様々なモデルが利用できます。
そこで、通常使っているモデル以外ではどのような回答が帰ってくるのか、現在使用できるGPT-3.5 Turbo、GPT-4に、GPT-4o、Claude3.5 Sonnet を加えての比較をデジタル推進課で試してみました。
共通プロンプト
すべてのモデルで同じプロンプトを入力しました。
【 プロンプト 】
職員の中からデジタル人材の適正を把握するため、社員向けにアンケートをするから内容を考えて。
#条件
設問は15問にする
選択肢も考えて
設問する理由も述べる
最後に、どの設問に回答すればデジタル人材と呼べるのかも解説して
生成AIの回答
GPT-3.5 Turboの場合
【 生成AIからの回答 】
デジタル人材の適正を把握するためのアンケートについて考えてみましょう。
以上が15問の設問例です。これらの設問に回答できる程度が高いほど、デジタル人材と呼べる可能性があります。回答内容を分析することで、デジタル人材の現在のスキルセットや成長のポテンシャルを把握することができます。
［所見］
GPT-3.5 Turbo では、選択肢はすべて「はい／いいえ」となっています。
また、それぞれの設問に対しての理由のみで、デジタル人材を把握するための根拠が乏しいですね、さらなる壁打ちが必要で
GPT-4の場合
【 生成AIからの回答 】
診断する項目はデジタルスキル（技術力）、デジタルビジョン（ビジョン力）、デジタルマインドセット（思考・意識）。以下に設問を列挙します。
デジタル人材と呼べるかどうかは、全ての設問に対して一方的な基準を設けるのではなく、全体的なバランスと相関性を考慮に入れます。
例えば、技術力が非常に高くても意識・意欲が低ければ、デジタル人材とは言えません。
一方、最新の知識や技術に対する強い関心と意欲があれば、技術力が現時点で低くても、積極的に学べる素質があると見なせます。
したがって、上記設問の全てに対して、「ある程度」以上の回答が多く、「全くない」と答えた項目が少ない方がデジタル人材と判断できます。
［所見］
設問8については、デジタル人材・DX人材としてとても必要なことですが、ダイレクトに設問に設定するのはAIならではですね、あと設問14、設問15も。
また、回答によってデジタル人材の判断材料を提示しています。
できれば『「ある程度」以上の回答』が”多く”ではなく、数や割合を示せれば更に良かった。
まぁそこは、さらなる壁打ちで求めていくことになります。
GPT-4oの場合
【 生成AIからの回答 】
デジタル人材の適正を把握するためのアンケート設問を以下のように考えました。各設問の理由と選択肢も提供します。
解説
デジタル人材と呼ぶための要素は以下の通りです：
・ 積極的にデジタルツールや最新技術を探し、活用する意欲： 設問1,2,5
・ プログラミングやデジタル技術に対する知識と経験： 設問3,4,7
・ コラボレーションツールやプロジェクト管理ツールを熟知しているか： 設問6,11
・ クラウドサービスやデータベース管理の利用経験があるか： 設問8,9
・ サイバーセキュリティやセキュリティ対策の知識があるか： 設問10,13
・ モバイルアプリ開発やUX/UIデザインに関する知識と経験： 設問12,15
・ CRMなどの顧客管理システムの運用経験があるか： 設問14
これらの設問で高い評価を得ることで、その社員がデジタル人材としての適性を持っていると言えます。
［所見］
一気に専門性が表に出はじめました。
これは一般職員に求める内容というよりも、情シスの職員に対して行う調査の様相を呈しています。
さらに、設問に対する理由だけではなく、アンケート結果の内容にデジタル人材の要素を提示してきています。
ここまで揃えば、デジタル人材となり得るか判断しやすいです。
Claude3.5 Sonnet
以下に、デジタル人材の適性を把握するための15問のアンケート内容と、各設問の理由、選択肢を提案します。
最後に、デジタル人材と呼べる基準についても解説します。
デジタル人材と呼べる基準：上記の設問に対して、以下のような回答傾向がある場合、デジタル人材としての適性が高いと考えられます：
・ 1.設問1-2:複数のデバイスやソフトウェアの使用経験がある
・ 2.設問3-4:プログラミングやデータ分析のスキルが中級レベル以上
・ 3.設問5-6:クラウドサービスの使用経験があり、セキュリティ意識が高い
・ 4.設問7-8:デジタルコミュニケーションや自己学習に積極的
・ 5.設問9-10:デジタルマーケティングやAI/機械学習の基本的知識がある
・ 6.設問11-12:プロジェクト管理ツールの使用経験があり、DXの概念を理解している
・ 7.設問13-15:新技術への学習意欲が高く、デジタルツールを効率的に活用し、イノベーティブな思考ができる
これらの基準を満たす回答者は、デジタル人材としての適性が高いと判断できます。ただし、組織の具体的なニーズや役割に応じて、重視すべき項目は異なる可能性があります。
［所見］
知識の所持に対する設問が多く見らますね。
かなり踏み込んだ設問であり選択肢になってます。
これって情シス職員に対するアンケートになりそう。
考察
GPT-3.5-Turboはすごくシンプルな内容なため、簡易的に評価するのに使うもの。
それ以外は詳細で具体的な内容になっているため、より踏み込んだスキルを把握するためには有用性が有りました。
総合的に見て、各モデルには独自の強みがあり、評価の目的や対象者に応じてモデルを切り替えて使用するというテクニックが必要になりますね。
感想
今回は本市で使用しているシステムに搭載されている生成AIのモデルでの比較でしたが、CopilotやGeminiとの比較をしてみるのも有りですね。
現在のシステムではLLMのみの利用ですが、画像生成ができるようになればまた比較をしてみたいです。
この記事が気に入ったらサポートをしてみませんか？