生成AIのセカンドオピニオンのチェックリスト

生成AIの変化は速いです。変化に対応するための、企業向けセカンドオピニオンサービスで使うチェックリストを作りました。

はじめに

組織では実際にやっている人にしかわからないこともあれば、現場から離れて俯瞰してみないとわからないこともあります。
改めてチェックリストを作ってみて、継続的にチェックしなければならないことは結構多いと感じました。
生成AIのセカンドオピニオンサービスにも十分市場がありそうです。

チェックリスト

企業生成AI

• セキュリティガイドラインは最新のGPT-4o (学習しない設定、テンポラリーモード）やClaude 3.5 Sonnet （ユーザの明示的許可がなければ学習しない）を反映しているか

• GPT-4oやClaude 3.5 Sonnetの無料化を反映したコストパフォーマンスになっているか

• OpenAI APIはコストパフォーマンス最適な設定（現在ならGPT-4o mini）になっているか

• OpenAI APIの価格改定があった場合、迅速に追従する設定になっているか

• 新しい大規模言語モデルが登場したときに比較評価する環境は整っているか

• Copilotなどのバンドルサービスと個別の契約、自社開発のカスタムシステムとの競合や重複の判断は体系化されているか

• GPT-4oなどのマルチモーダル化を自社のデジタル化できなかった資源に適用する検討はされているか

• エンタープライズ、チームなどのライセンスは利用状況と整合しているか

企業カスタムシステム

• 社内データによる生成AIに利用する用語集、略語集、FAQ集などは生成AI対応されているか（日付やバージョンの明示的付与、など）

• 社内データの更新が生成AIに反映される運用になっているか

• GPT-4o無料+GPTsやClaude 3.5+Projectsなどと内製生成AIアプリのコストパフォーマンス比較は体系的に行われているか

• 社内データによる生成AIはGPT-4o miniの出力最大トークン 16K（GPT-4当初は4K)を考慮しているか

• RAG (Retrieval-Augmented Generation)のtop_pやチャンクサイズのパラメータは最新の言語モデルのウィンドウサイズや価格と整合しているか

• 社内利用の言語モデルを変更する手続きは明確化されているか

• 社内データによる生成AIに利用する用語集、略語集、FAQ集などはバージョン管理されているか

性能

• チャットボットアリーナの情報がキーパースンに共有されているか

• ソフトウェア開発のSWE-benchなどのベンチマーク情報がキーパースンに共有されているか

利用方法

• より上位の戦略的な領域への適用を検討しているか

• 利用方法の社内共有を促進する基盤はあるか

• 探索的利用方法のスキルが共有されているか

プロンプトエンジニアリング

• Microsoft, OpenAI, Googleなどのプロンプトエンジニアリングガイドラインが共有されているか

• ReActやCoT (Chain of Thoughts) などの問題解決フレームワークの利用方法を共有しているか

• Web検索による最新情報との併用は共有されているか

社内教育

• 初心者向け教材は最新の生成AI動向、社内システムを反映しているか

• 教材は初心者ユーザ向け、管理職向け、システム管理部門向けの役割対応になっているか

• 最新のプロンプトエンジニアリングが社内共有されているか

• 営業、マーケティング、ソフトウェア開発、新事業開発などのアプリケーション向けのノウハウは共有されているか

むすび

チェックリストの項目はどんどん増えていくと思います。
その中にも生成AIの変遷を感じます。
エージェントとか企業内APIとの統合とかが始まるとさらに複雑化し、情報システム部の中にチェックリストだけを管理する部門とかできてきそうです。

参考文献

• [ai300lab] 生成AIのセカンドオピニオン https://note.com/ai300lab/n/n35835c7fe252 2024年