シニアだけどローカルPCでRAGに挑戦してみた

どうも、駆け出しシニアのHot3DegC(ホットサンド)です。

もっと手軽にローカルPCでLLMのファインチューニングが出来ないものかと思っていたら、NVIDIAさんがいいもの公開してくれましたね。

公開してくれたのは、『Chat with RTX』というローカルLLMに独自のコンテンツ（ドキュメントなどのデータ）を連携させてチャットボットに質問できるWebアプリケーションです。

何が凄いって簡単にローカルPCでRAG（Retrieval-Augmented Generation）が実施出来るんですよね。

簡単に言うとローカルPCで独自情報（公開したくない自社ノウハウとか）を取り込んでローカルLLMのチャットボットが返答してくれるということです。

只、公開されたアプリケーションはまだまだ開発用のデモアプリということや環境制限があったり、使用出来るLLMモデルもLlama2 とMistral の2種類のみとなっております。

だけど、試してみないことには、評価も出来ないので早速インストールしてみました。

Chat with RTXのインストールまでの流れ

では、早速NVIDIAさんのHPからダウンロードしてみましょう。ダウンロードファイルは36GBほどあるので、HDDの空き容量に気をつけてください。

ダウンロードしている間に、もう一度動作環境について確認しておきます。
必要な環境は、GeForceのRTX30か40シリーズのGPUでVRAMが最低8GB必要となります。

このあたりは、まだ少しハードルが高いと思いますが、ゆくゆくはもっと低スペックでも動作出来るようになってくれることを期待しましょう。

ダウンロードが環境したら、『ChatWithRTX_installer_3_5.zip』を解答してフォルダにある『setup.exe』を実行します。

実行すると下記のインストーラーが立ち上がるので、内容を確認しながら進めていきます。

GPUのVRAMに余裕があれば『Llama2 13B INT4』も含められるとのことなのですが、私のPCのGPUのVRAMは8GBなので、自動で除外とされておりました。

インストールが完了するとローカルホストが立ち上がり、ブラウザに自動で起動されます。

次回以降の起動は、ランチャーのショートカットを実行すれば自動起動してくれます。

このあたりのConfigを変更して、別のLLMにきりかえられないかなぁ……

立ち上がった画面になります。

左上のメニューからモデルを選択するのですが、私の場合は『Mistral 7B INT4』しかないので、変更出来ません。

続いて、右上のメニューからはRAGで参照する外部情報の参照先が指定出来ます。デフォルトだと『Chat with RTX』がインストールされたフォルダの下部フォルダが指定されています。

そして、下部にチャットするためのテキストボックスが配置されております。

Chat with RTXでチャットしてみる

では、早速何かチャットしてみましょう。
プロンプトに

『LLMとRAG（Retrieval-Augmented Generation）について簡単に教えて下さい。』

と入力してみました。

良い感じに解答してくれますね。
続いて、日本語入力でも問題なく解答してくれることがわかったので、日本語での解答を依頼してみました。

こちらは、残念ながら期待した結果となりませんでしたが、このあたりはモデルの学習状況によるものかと思いますので、日本語に長けているモデルが選択出来るようになることを期待したいですね。

あと、解答の最後に、『Reference file』と記載があってその後にファイル名が続いていますね。

これが参照している外部情報なのだと思ったので、内容を確認してみました。
要約するとNVIDIA ACEはどんな技術でこんな事が出来るようになるっていうようなことが書かれていたと思います。

良くそんな内容からRAG（Retrieval-Augmented Generation）について解説できちゃうんですかね。AIの類推って凄いですね。

最後に

最後まで読んでいただき有難うございました。
このあと、独自情報をもとにRAGの効果を確認していたのですが、いろいろやり過ぎてうまく纏まっていないので、そのことについては後日改めて紹介したいと思います。

では、引き続き応援のほど宜しくお願いします。