①RAGで社内文書を回答するChatGPTをAzure AI Searchで構築する方法。社内問い合わせAIを作る

こんにちは、株式会社IZAI、エンジニアチームです。
今回は、社内情報を参照して回答するChatGPTをAzure上で構築する手順を説明します。

【はじめに】RAG = 外部データを参照する手法

RAG（ラグ）とはRetrieval-Augmented Generationの略で、LLMに社内データを検索、参照させて回答を生成する手法で各社が様々な商品を提供しています。

よく比較される、fine-tuning（ファインチューニング）はモデル自体に追加で学習させる手法で、社内情報など正確性が求められる用途には不向きであるケースが多いです。詳しくはこちらで説明しています。

Azure AI Searchとは

---

Azure AI Searchというサービスは文字、表、非構造化データ、画像、文字の画像を自動でOCRして検索してくれるもので、ChatGPT登場以前から高い検索精度を誇ります。キーワード検索、セマンティック検索、Vector検索に対応しています。

その他用語（覚える必要はありません）
Azure OpenAI・・・Azure上でOpenAI社のモデル（GPT-3.5やGPT-4oなど）が使えるサービス。OpenAIの物と中身も使い方もほとんど同じです。
Azure AI Search・・・大量のドキュメントから検索するサービス。エンタープライズサーチ。本記事の主役。23年10月以前はAzure Cognitive Searchという名前でした。
AWSではKendra, GCPではVertex AIが同じ位置付けになります。

Azure OpenAI On Your Data
・・・Azure OpenAIとAzure AI Searchを簡単に連携する仕組み。
Azure Cosmos DB・・・超高速、スケーラブルな分散データベース。データを高速に参照するのに使います。

-
-
-
-
-
-

【本編】

ここから本編です。早速、RAGを構築してみましょう。

1. Azureアカウントを作る

---

Azureアカウント（無料）を作成します。（所用時間 5分）
※企業/組織名を記入する必要があります。

1-1. Azure公式サイトへアクセス

1-2. [Azureを無料で試す]をクリック

1-3. [無料で使う]をクリック

1-4. アカウントを新規作成

メールアドレス、生年月日、電話番号、住所などを入力してアカウントを作成します。

1-5. カード情報を入力

従量課金制の価格に移行しない限り、料金を請求されることはありません。
本検証では初回クレジットを消費するので費用は発生しませんが、
アカウント作成にはカード情報の入力が必要です。

1-6. アカウント作成完了

お疲れ様です。以下のAzure Portalホーム画面が開けたら完了です。

2. Azure OpenAIのリクエストを送信する

---

Azure OpenAIを利用するには、その使用用途をMicrosoftに申請する必要があります。
よく読んで申請してください。1 ~ 3日で承認されます。
（所用時間: 30分 + 承認待ち1~3日）

2-1. リクエストのページを開く（画像はGoogle翻訳したものです）

2-2. 名前を入力

2-3. サブスクリプションID、メールアドレスを入力

サブスクリプションIDは、Azure Portalホーム画面からコピーしてください。

2-4. 会社or組織名、住所を入力

1. 階数, ビル名, 番地, 地区,

2. 市町村

3. 都道府県

の順で、英語表記で入力しましょう。

2-5. ウェブサイト、電話番号、自分の会社であることのオプトインを入力

2-6. 機能を選択

今回は「GPT-4-Turbo,GPT-4o」と「埋め込みモデル」を使用するので上の一つだけチェックを入れてください。
画像生成や文字起こしを試したい方は、他の要素にチェックを入れても構いません。

2-7. 使用事例を選択

使用する可能性のある用途を全て選択してください。

2-8. 規約、Microsoftの不正利用に対する監視について承認

それぞれよく読んでチェックしてください。

2-9. [送信]をクリック > 完了

お疲れ様でした！登録したメールアドレス宛に確認メールが届きます。

お疲れ様です。承認メールが届くまでしばらく待ちましょう。
②へ続く。↓↓↓↓