Azure Cognitive Search第3弾～GiNZAV5.1を用いた文章のベクトル化～

初めまして、みずぺーといいます。
このnoteを機に初めて私を知った方のために、箇条書きで自己紹介を記述します。

• 年齢：28歳

• 出身：長崎

• 大学：中堅国立大学

• 専門：河川、河川計画、河道計画、河川環境

• IT系の資格：R5.4基本情報技術者試験合格💮、R5.5G資格

本日はRAGにおけるAzure Cognitive Searchを用いたベクトル化の方法について解説

これまではRAGの解説及びその中でAzure Cognitive Searchがどのように使用されるのかについて解説しました。

Azure Open AIを使用したRAGの仕組み

さらに前回の記事ではRAGの中で使用されるツールの1つである、Azure Cognitive Searchの仕組みとその流れについて解説しました。

RAGにおけるAzure Cognitive Searchを用いた文章ベクトル化の方法

本記事ではまず一番初めの①、③のベクトル化の方法を解説します。

本記事で取り上げるベクトル化

用意する環境

• GoogleColabratory

以上です！
後は、どんどん先へ進めていきましょう。

最初はオンプレでやろうと思ったのですが、インストールがめんどくさくなって、やめましたし、実際のクラウド上で触れた方が色々為になります。

ベクトルデータの用意

まずはベクトルデータの用意をします。

livedoorニュースよりサンプルデータが公開されているので、それを参考に作成しましょう。

ベクトル化の手法

ベクトル化には以下のような種類があります。

1. TF-IDF

2. GENSIM word2vec

3. Huggingface Transformers

4. GiNZA Electra

5. 東北大学