LLM付きの検索エンジンの構築方法
Perplexicaの紹介
PerplexicaというLLMを利用した検索エンジンの紹介をします。名前からしてPerplexity.AIをフリーコードで作成したプロジェクトとなります。Perplexity.AIみたく自然言語での質問に対して、検索結果を表示してくれます。
今回面白いなと思ったのは、OpenAIのAPIを使ったり、オープンソースのLLMを使い、検索をすることができるからです。また、searXNGという使われているオープンソースのメタ検索エンジンに興味を持ったので、いつかsearXNGというオープンソースのプログラムジェクトの記事を書きたいです。
Perplexicaの構築方法
Dockerを起動させておきます。
Docker Desktopを起動させておきました。Dockerのインストール方法については割愛していますので、Docker Desktopを起動させておいてもらえればと思います。
Perplexicaのレポジトリを取得する。
git clone https://github.com/ItzCrazyKns/Perplexica.git
cd Perplexicaconfig.tomlを修正する。
sample.config.tomlをconfig.tomlに名前を変更して、OpenAIのAPIキーを記載する。
※今回は、OpenAIのAPIキーを使って、gpt-3.5-turboのモデルを利用します。オープンソースのLLMを使いたい場合は、このconfig.tomlを修正することになります。
docker-compose.yamlを起動する。
docker compose up -dhttp://localhost:3000にアクセスする。
Ask anythingのところで質問してみる。
Ask anythingの入力フォームで質問してみます。今回は、"現時点におけるLLMのトップ5のモデルを紹介してください"と聞いてみます。
回答結果だけではなく、回答となるソース元を表示します。
右横にある、"Searching images"や"Searching videos"をクリックすると、回答に関連する画像やビデオが紹介されます。
あとは感覚的にわかるような感じがしますが、下記右下のCopilotは何をやってくれるのかがわからなかったので、何かわかった人がいたら教えてもらえたらと思います。
左のところにある目みたいなマークをクリックすると、検索方法において色々なモードで調べてもらえるようです。
所感
このプロジェクトを作った人は商用に匹敵するようなコードをオープンソースで公開していて凄いですね。まだまだAIの世界は競争が始まったばかりですので、このオープンソースのコードで商用サービスまで持っていけるような気がしますので、チャレンジしてみたい人はチャレンジしてみると良いかもしれません。
この記事が気に入ったらサポートをしてみませんか？