ChatGPTを業務活用してわかった課題

こんにちは、本業でAzure OpenAI Serviceの導入支援に関わっているパトルです。

Azure OpenAI Serviceとは、マイクロソフトのクラウドでChatGPTを運用することでセキュリティを強化するサービスです。Azure OpenAIを使うことでセキュアに社内文書を活用して文章を生成することもできます。

普段ChatGPTを業務で使う支援をしているのですが、実際に導入するのは意外と甘くはありません。ChatGPTでちょっと遊ぶ程度には問題はないのですが業務で使おうとすると様々な課題が出てきます。今回は、技術者向けではなく経営者向けに大雑把に大切な部分を記載します。

意外と精度が出ない

Azure OpenAIでは、精度をあげるために様々な設定をすることができます。たとえば、プロンプトに含む単語から回答を引っ張ってくる「キーワード検索」、プロンプトの単語の意味の類似度をみて検索をかけてくれる「ベクトル検索」（「中小企業」と検索するとベンチャー企業の情報も含めてくれる）、プロンプトとデータソース（社内文書）の意味を深く読み取って回答を生成してくれる「セマンティック検索」、また、これらを組み合わせることも可能です。GPT3.5やGPT4などモデルを選ぶこともできます。基本的に精度を上げる設定をすればするほどコストがかかります。

2023年12月時点ではGPT3.5、セマンティック有りくらいで使っている会社が多いと思いますが、この設定だとRAG（文書をアップロードしてAIに読ませること）でアップロードした社内文書から適切に回答を生成しなかったり、そんな情報はないと回答されることがあります。精度の度合を説明するのは難しいのですが、ChatGPTが出た当時のハルシネーションがひどかった時期よりもひどい感じです。言い換えると、あまり有名ではない文章生成AIを使った時のような残念感を感じることもあります。

実務で使いたいのであれば、事前に検証をしてみて精度に納得してから進めてみるのが良いと思います。Sierと組む場合、良いことばかりいう会社や、リスクを誇張して相場の数倍の構築費用を要求する会社に気を付けましょう。

それなりの運用コストがかかる

ChatGPT Plusなら月々3,000円程度ですが、Azure OpenAI を使うとなると、API トークン、AI Search、セマンティックランカーなど諸々お金がかかってきます（設定によっては仮想ネットやログ収集なども必要）。Azureの場合、各サービスを組み合わせて月額を算出するので、コストの計算はかなり複雑です。これまた大雑把にいうと大体2-3人で検証目的に使ってみた場合でも3-4万円くらい月々かかるイメージです。社内文書を検索するAI Searchが結構高いので、大勢に向けて開放する場合、まずは社内文書検索なしで始めた方がコストが抑えられます。

結局データの構造化が必要

社内でChatGPT（Azure OpenAI）を使うからには最終的には社内文書を使って文章を生成したいとみんな思っているのではないでしょうか。実務でガンガン使うには、高コストの高精度設定にするか、社内文書の構造化（タイトル、見出し、段落、みたいに綺麗に整理する）のが良いと思います。

また、バイナリファイル（ワード、パワポ、画像、PDFとか）よりはテキストファイルの方が良いといわれていますが、社内文書をすべてテキストファイルにはしてはいられないのが本音ではないでしょうか。PDFはきちんとテキストととして認識してくれますが、図が入ると精度が落ちますし、サイテーションとして元PDFを引っ張ってくる時に関係ないファイルを引っ張ってくることがあります（これは設定である程度対応できますが）。結局アップロードする社内データを構造化してあげるのが一番の方法ではあります。（困っている会社が多いので当社でもAzure OpenAI構築に加えてデータ整理も請け負えるようにしました）

それでも今AIを導入した方がいい理由

私はそれでも企業は今ChatGPTを導入すべきだと思っています。なぜかというと、今のうちから自社のデータでAIを運用する経験を積むことは大きなノウハウの蓄積になるからです。

2023年4月にパナソニックは社員9万人にAzure OpenAIを開放して、業務効率改善案を募集しました。2023年10月のソフトバンクワールド2023では孫正義氏のプレゼンにて、ソフトバンクでは全社員がChatGPTを使っていること、新規事業や特許案を社内でコンペさせており、多くが採用、出願に至っていることが紹介されました。

生成AIによって、自社の競争優位を確立したい、新規事業を作りたいと考えている会社は多いと思います。まずは自社でAIを運用して知見を獲得するために苦労も含めて投資と考え、取り組んでいくことは有益だと思います。やってみないと自社のデータをどうやってAIに最適化すれば良いかもわかりません。まずは第一歩を踏み出してみてるのがおすすめです！

参考になったらいいね！シェア、フォローをお願いします。