Vertex AI Searchで社内ドキュメントを生成AI検索してみる REALITY Advent Calendar 2023
こんにちは、REALITY Advent Calendar 2023 の19日目担当、テックリードのますずみです。
2023年8月7日にREALITYは5周年を迎えました。リリースから5年以上の間、REALITYにはたくさんの機能が追加・更新されてきました。
…と、ここで一つ問題が生じます。
機能の仕様書や企画書といった社内ドキュメントがとてつもない数にのぼり、目当ての情報を探すのが大変になってくるのです。
REALITYの機能の仕様書は主にConfluenceというツールで管理しているのですが、機能仕様書だけに限定しても1,000ページを超えています。
（今回改めて数えてみて目を疑いました！）
これだけのボリュームになると、単純に検索するだけだと目当ての情報に辿り着くのが難しくなってきます。また、これらのドキュメントは基本的に人の手で・自然言語で記述されている部分が多く、略称や社内用語、表記揺れなどの検索する上で障壁となる要素も含まれており、一筋縄ではいきません。
といったところで登場するのがGoogle CloudのVertex AI Searchです。
Vertex AI Search
Vertex AI Search（旧称 Gen App Builder の Enterprise Search）は、ウェブサイト、非構造化データ、構造化データを対象とした生成 AI 搭載の検索エンジンを迅速に構築できる、デベロッパー向けのプラットフォームです。
Vertex AI Searchのありがたいところは、社内のデータを対象とする以上必要になってくるアクセス制御などのエンタープライズグレードの機能が整備されているところです。また、セマンティック検索や対話型検索、LLMを用いた要約にも対応しており、夢が膨らみますね！
というわけで、早速セットアップしていきましょう。
検索データストアの作成
まずはデータの準備からはじめていきます。
Vertex AI Searchのデータストアはさまざまな種類のデータのインポートに対応しています。今回の検証では、GCS BucketにHTMLでエクスポートしたドキュメントを使用することにしました。
ConfluenceからHTML形式でページをエクスポートし、GCS Bucketにアップロードしていきます。
次に、検索データストアを作成します。データソースに「Cloud Storage」を、データ種別は「非構造化ドキュメント」を選択し作成します。
検索アプリの作成
次に、検索アプリを作成します。
アプリの種類は「検索」を選択し、設定を進めていきます。
今回の検証では「Enterprise エディションの機能」と「高度な LLM 機能」をそれぞれ有効にして作成しました。
検索してみる
セットアップが完了したので早速試してみましょう。
ありがたいことに検索プレビュー機能も用意されているのでサクッと試せます。
試しにある機能の仕様について検索してみたところ、見事に当該箇所を探してきてくれました！
とはいえ、もちろんなんでも答えてくれるわけではないので、このような結果が返ってくることもあります。
ほかにも興味深い結果がいくつかあるのですが、なにぶん検索対象が社内のデータということもありお見せできないのが残念です。
色々試してみた感想を一言でいうと、「きちんと整理されたドキュメントを対象にすれば有用な結果が返ってくるが、とっ散らかったドキュメントだとそうもいかない」といったところでしょうか。だいたい人間と同じですね！
感想
今回の合宿ではVertex AI Searchを使った社内ドキュメント検索を検証しました。実運用に乗せるまでにはまだまだ超えるべきハードルはあるものの、かなり期待が持てる分野なので、今後も折に触れて活用方法を検証していきたいと思います。
明日のアドベントカレンダー
Unityエンジニアのyaegakiさんによる「配信の音声をブラウザで聞いてみた」です、お楽しみに！