Azure Cognitive Search第1弾～Azure Open AIを使用したRAGの仕組み～

初めまして、みずぺーといいます。
このnoteを機に初めて私を知った方のために、箇条書きで自己紹介を記述します。

• 年齢：28歳

• 出身：長崎

• 大学：中堅国立大学

• 専門：河川、河川計画、河道計画、河川環境

• IT系の資格：R5.4基本情報技術者試験合格💮、R5.5G資格

本日はRAGの仕組みについて解説します。

RAGとは

一言でいうと「情報検索のみをインプット情報を入力することで強化して、関連情報を一次文章生成し、再度GPT等の生成モデルに食わせることによって自然な文章を出力するモデル」です。

手順を示します。

1. 社内文章を事前学習モデルに投入

2. ベクトル化しパワーアップベクトル空間生成

3. 質問文をベクトル化しベクトル空間生成

4. 質問文とパワーアップベクトル空間を比較して類似度検索し一字文章生成

5. 出力文生成

です。絵にするとこんなかんじ↓

RAGの構造

Azureのアプリを踏まえたうえでのRAGの構造はこんな感じ↓

Azure Open AIによるRAGの構造

ここから第2回から第4回までAzureにおけるRAGを行うための理論から実装までの流れを紹介したいと思います。

楽しみにお待ちいただければと思います。
第二回はベクトル化の方法を解説してます。

第三回はGiNZAV5.1を用いた文章のベクトル化の実装を行ってます。

第四回はQdrantを用いた文章ベクトル検索方法について実装歳ながら解説しております。

どれも自然言語処理では大事になる回ですので、お読みいただければと思います。

最後までお読みいただきましてありがとうございました！