【雑感】Azure OpenAI Service Dev Dayに参加してきた

こんにちは、Shinです。気付けばスイカが美味しい季節になりました。スイカっててっきりほぼ栄養がないものだと思っていたのですが、実はビタミン類やカリウムなど身体の調子を整える色んな栄養が含まれているのですね。

さて、7/25にAzure OpenAI Service Dev Dayが開催され、普段業務でAOAIを活用した研究開発に携わっている身として参加してきました。予定の都合上、最初の基調講演には間に合いませんでしたが、その後に聞いたいくつかのセッションで学んだことについて、備忘録的にまとめていきます。

Azure OpenAI Service Dev Day (AOAI Dev Day)

生成AIを活用する組織文化を醸成するには？

私が参加した最初のセッションが取り扱う組織文化の醸成について。生成AIを業務の現場において使いこなしていくためには、生成AIというシステムを導入するだけでは不十分であり、それを使える組織文化の醸成が必要です。まさにDXという文脈でSaaSの導入を行ってきたなかで散々言われてきたことです。

生成AIを使いこなすために人が身に付けるべきスキルは4つ。①生成AIの知識、②業務課題を言語化する力、③生成AIと業務をマッチングする力、④自分たちで取り組むことができる＝自走できる力。

従って、システムを導入して終わりでなく、同時に人も育てていかなければ生成AIを組織として活用することはできません。この役割をCIO、CDO、CAIO、CHROが担っていくことになるかと考えられますが、この人の領域も含めて支援できるシステムベンダは強いだろうなと感じました。

LLMOps：生成AIアプリを作った後のことを考える

続いて、LLMOpsについて。開発と運用の一体化であるDevOpsから、機械学習領域において騒がれたのがMLOps。そして生成AIということでLLMOpsになりました。

ChatGPTや文書検索など喫緊様々なアプリケーションの開発が至る企業で進められています。メジャーそうなテックカンファレンスに参加してみると、ブースエリアで出展している企業は生成AIアプリケーション屋ばかりな印象があります。

しかし生成AIだろうがアプリはアプリ。構築して終わりでなくその後の運用を考えなければいけないのは同じです。それでは生成AIにおける運用とは何か？

例えば、コスト管理。アプリのユーザ数の増加や、単一アプリ内での生成処理の増大によるトークン課金の増大が考えられます。このトークン量を抑制するような仕組みも必要になるでしょう。Exawizards社のRAGOpsサービスや、Google Cloud社のVertex AIでは、過去生成した内容をキャッシュとして再利用する機構を備えることで消費トークンの抑制を行っています。

RAGOpsサービスが登場 - exaBase Studio- 株式会社エクサウィザーズ

コンテキスト キャッシュ  |  Gemini API  |  Google for Developers

他には、コンテンツの品質や正確性が考えられます。品質の観点では、生成した内容が差別的でないか、暴力的でないか、公序良俗に反していないかといった有害性の観点で評価されます。正確性の観点では、生成内容が事実に即したものであるかどうかという回答精度を指します。

ハルシネーションを完全に抑制することは困難であると言われますが、ナレッジベースに蓄積されたデータに基づいた回答を行うRAGや、昨今ではRAGをさらに発展させて、複数のLLMを使う「Speculative RAG」と呼ばれるものも出てきています。（これはこれでトークン量を増大させそうな方法ですが、コストと品質はどうしてもトレードオフになりがちですね）

RAGで複数のLLMを使う「Speculative RAG」の解説

レイテンシー（回答速度）も考慮すべき観点としてあるでしょう。GPT-4oはじめ次第に回答速度が速いモデルが生まれてはいますが、どうも複雑な処理を行えば時間はかかるものです。ここを如何に業務影響がない範囲にとどめるか、生成AIアプリで実現したいものの要件を見極めて実装方法を考慮していく必要があります。

さいごに

今回は2セッション分での学びを書き起こしてみましたが、他にも様々なセッションに参加させていただき、非常に多くのことを学ぶことができました。特にGenerative Agents社の西見さんのAIエージェントの話がとても面白かったので、もう少し勉強してからいつかアウトプットできればと思っています。

最後までお読みいただきありがとうございました。