自社用カスタム生成AI設計の難しさ

GPT-4o登場でさらに難しくなった企業向け生成AI設計の考え方についてお話しします。

ノーコード／ローコード時代の企業向け生成AIシステム

企業にとって企業のノウハウを学習した生成AIシステムは単に生成AIを使うより重要です。
2023年にMicrosoftがAzure OpenAI serviceを提供し始めて、ノーコード／ローコードの生成を始めて、よりアジャイルな生成AIシステムの開発が可能になりました。MicrosoftはOpenAIと密に関係しているので技術的には安心ですが、なんだかんだと社員一人当たりに従量課金になってくるのでライセンスコスト的には二の足を踏む企業も多いと思います。本当に生産性があがれば大したことはないのですが、効果を確かめるまではまるまる追加コストになるので難しいです。

GPT-4oの登場

GPT-4oは視聴覚を統合し、リアルタイムで応答し、かつ人間の感情も理解する実世界対応の基盤モデルです。
機能ももちろんですが、制限付きで無料で提供されるようになったのも大きいです。GPTsも無料で使えます。

企業サイドの悩みどころ

生成AIはPC、インターネット、スマートフォンを超える技術革新と言われています。当然、これを企業活動にどう取り入れるかは重要な課題になっています。

課題は2つです：

• GPTsの利用

• 新興基盤環境 (OSS) の利用

GPTsの利用

GPT-4oが無料開放されたことにより、必ずしもシステム開発を伴わず、GPTs + 無料GPT-4oで企業システムを作ることができるようになりました。
GPTsで必要な知識をアップロードし、プロンプトをいれるだけなので非常に直観的で簡単です。
今まではChatGPT Plusに入って月額課金しないと使えなかったものが、GPTsを開発するアカウントだけで使えるようになりました。
GPTsはまだ全文検索能力に疑問が起こるので、開発あるいは運用しているシステムを止めてまでGPTsに乗り換えるかどうかは判断の分かれるところです。

新興基盤環境(OSS)の利用

GPTsを超えるノーコード／ローコードの開発基盤環境としてLangGenius社のdifyが注目されています。OSSでソースが公開されているので、自社で実装することも可能です。docker環境があれば簡単に動きます。
直観的なユーザインタフェースで実現され、プログラマでなくても簡単に環境を構築できます。ワークフローやエージェントを実現することができ、組み込みのサービスもいろいろ部品として用意されています。RAG (Retrieval-Augmented Generation)やデバッグ環境やログ解析機能など精度向上のための試行錯誤を支援する機能もついているのがうれしいです。
GPTsより高度なカスタム生成AIを実現することができます。
ソースコードをもってきて自社で運営するのが面倒ならば、SaaSとして月額課金して利用することも可能です。
こちらも機能は豊富ですが、分類器などまだ挙動が確実でないところもあるようなので、すぐスイッチするかは判断の分かれるところです。

生成AIの悩みどころ

生成AIの自社データによるカスタム化には3つの選択が可能になりました：

• 大規模言語モデルのビルトインのカスタム環境 (例：GPTs)

• サードパーティーのオープンなカスタム環境 (例: dify)

• サードパーティーのクローズなカスタム環境 (例: Azure OpenAI Service, Amazon Q Business)

それぞれ特徴があり、ユースケースやコストによって選ぶことになります。

これは今に始まったことではないのですが、次に何が起こるのかがわからないというのが企業の悩みどころです。1ヶ月単位でも生成AIの企業向け開発環境の風景は大きく変わります。
基盤モデルの比較ひとつとっても、AとBを比較してAがよかったとしても、それは比較した時点での結果に過ぎません。モデル自体は日進月歩で同じ名前のモデルでも毎月のように更新されています。
コスト比較をしたところで、すでにGPT-3.5が出てから、コストは12分の1、スピードは6倍になっています。結局、企業の社内向けカスタムシステムはコストパフォーマンスを求められます。変数が変わるなかでベースになる基盤環境を設計、更新していくという難しい判断を迫られています。
結局、GPTsにせよ difyにせよ、初期コストが小さいので、実験室を作ってその中で自社データによる実証実験を繰り返し、それをCTOに入力して判断していくこということになると思います。

むすび

システムが進化するとどこかで収束してきて、安定化環境でシステム設計ができるというのが過去の技術革新でした。まだ1年半ですが、生成AIにはこのような安定化効果は見えてきていません。
不可能だったことが困難のレベルに落ちてき、コストも劇的に下がるというのはありがたいですが、技術経営の悩みは尽きません。

参考文献

• [sbbit] GPT-4oをわかりやすく解説、専門家が「時代の転換点」と評価するヤバすぎる能力とは https://www.sbbit.jp/article/cont1/140613 2024年

• [chatgipper] GPT-4oとは？GPT-4やGPTsの無料化、音声機能の強化などのアップデートでどのように変わるのか？　https://chatgipper.com/chatgpt/news/gpt-4o/　2024年

• [ascii] 自分好みのAIチャット相手を簡単に作れる「Dify」が面白い　https://ascii.jp/elem/000/004/199/4199392/ 2024年

• [にゃんた] OpenAIのGPTsより凄い！無料で使えるDifyを徹底解説してみた https://www.youtube.com/watch?v=O_bmmDWIjTc 2024年 38m07s にゃんたのAI実践チャンネル