【Llama2はどこいった？】Chat with RTXを触ってみる
Chat with RTXが出た！
昨日ネット記事を漁っていたらこんな記事を見かけました。
チャットAIをローカルで動かすのは先日noteでも紹介したMetaのLlama2で既に実験済みです。
ただこの「Chat with RTX」の気になるポイントはLLMとは別に「PC上のローカルデータセットを読み込める」ということで、これによって私的な質問にも回答出来るようになるとのことです。
しかし誰でも使えるという訳ではなく、
GeForce RTX 30/40シリーズまたはNVIDIA RTX Ampere/Ada世代、かつVRAM 8GB以上のGPUを搭載したPC
という一定の制限があります。
自分は幸いRTX 30シリーズの3080Ti（VRAM12GB）を持っているので、これを使って早速試してみました。
早速触ってみよう
まずはダウンロード
気になっったら即実践！
ということでダウンロードして使ってみることにします。
NVIDIAのサイトからダウンロード出来るのですが、日本語のサイトでは通知のボタンがあるだけでダウンロード出来ませんでした。
ということで英語版（本国？）のサイトにアクセスしてダンロードを行います
「Download Now」を押すとダウンロードが始まります。
35GBとデータとしてはかなり大きいので少し時間がかかります。
インストールする
完了すると「NVIDIA_ChatWithRTX_Demo.zip」という圧縮フォルダが出てきます。
これを回答して中を見ると「setup」というアプリ（実行ファイル）があるのでそれを押してインストーラーを起動させます。
起動するこんな画面が出るので「AGREE AND CONTINUE」を押します。
するとインストールオプションが出てきて何をインストールするのか選べるのですが、ここで1つ目のトラブル発生です。
事前に調べた限りでは使えるモデルとして
・Llama2 13B INT4
・Mistral 7B INT4
この2つが使えるとのことだったのですが「Mistral 7B INT4」しかインストール出来ないようになっていました。
Zipファイルの中にはLlama2のモデルも入っているようだったので、インストーラーの設定で何故かインストール出来ないようになっていると思うのですが、何度試しても同様の結果だったので今回はMistral 7B INT4のみで試すことにしました。
「NEXT」を押してインストールを開始します。
ここも容量が大きいのでそれなりの時間がかかりました。
完了したら「Close」を押してインストール終了です。
起動してみる
インストール完了画面の下側に「Launch the "Chat with RTX"application」という欄があり、そこにチェックが入っていると「Close」を押した後自動でチャットが立ち上がります。
操作は他のWeb UIと同様でweb上で行うので、自動でブラウザが立ち上がって操作画面が出てきます。
画面左上の「AI model」の欄で使用するモデルを選択出来るのですが、前述の通りなぜがLlama2がインストール出来なかったため、もう一つのMistralしか選択出来ないようになっています。
画面の構成はこんな感じになっていました。
・左上でAIのモデルを選択
・右上でデータセットの選択
・下側でチャットの文章を入力
といった構成になっています。
触ってみる
触ってみるとチャット自体は問題なく行えます。
応答速度もそこまで遅い感じではなく、問題なく動作しています
一応日本語の入力も受け付けてくれましたが、返答は日本語として変な部分も多く「日本語で自己紹介」と打つとバグった回答が帰ってきてしまいます。
そのため基本的には英語でやり取りする形になりそうです。
データセットを使う
「Chat with RTX」の肝であるデータセットを使ったカスタマイズを試してみます。
データセットとして使えるのは
・Foler Path
・YouTube URL
・AI model default
この3つです。
YouTubeは動画のリンクなどを貼ることで使えるものだと思いますが、今回はFoler Pathを使ってみました。
ちなみにAI model defaultを使うと使っているLLMに入っている知識のみで回答してくると思われます。
Foler Pathを使うとディレクトリを入力する欄が出てきますが、デフォルトで既にいくつかのデータセットが入っているフォルダが選択されています。
データとしては.txt、pdfなどいろいろな文章の保存形式が使えますが、今回はwindowsのメモ帳にこんなことを書いて.txtとして出力し、データセットとして使ってみました。
WONDEMENT is a media art group formed in October 2023 consisting of SUKE, Sekaoza, and Aosa.
The base of our activities is to provide surprises through the entertainment of media art, and we work to convey the possibilities of media art and the joy of creativity through exhibitions.
日本語で書くとこういった文章です。
WONDEMENTは2023年10月に結成されたSUKE、セカオザ、あおさの3人からなるメディアアート集団です。
驚きをメディアアートというエンターテイメントで与えることを活動のベースとし、展示会の実施を通してメディアアートの可能性やクリエイティブの楽しさを伝える活動をしています。
この.txtをデータセットフォルダに入れ、チャット画面のDetaset欄の「Refresh」ボタンを押せば完了です。
これでWONDEMENTについて聞いてみると…
.txtに記述した内容を元に回答を生成して、WONDEMENTがどういった組織なのか解説してくれました！
自分で覚えさせたとはいえ回答が返ってくると嬉しいですね！
最後に
今回は簡単に触れただけなので「なぜLlama2はインストール出来ないのか」など不明点も多々ありますが、データセットを用いて簡単にカスタム出来る点が色々と使えそうだと感じました。
ちなみにVRAMの使用率は9.5GB前後で12GBある3080TIでは余裕を持って使えています。
Llama2にするともう少し使ったりして12GBでは足りないシーンも出てくるかもしれません
今回はWONDEMENTのメンバーや活動内容を簡単に書いたテキストのみ覚えさせましたが、制作した作品についてや各メンバーの詳しい情報なども覚えさせればWONDEMENTのことについて何でも回答してくれるAIが出来上がると思います。
インストール自体もそこまで複雑ではないので、興味のある人はものは試しで触ってみると良いと思います！
それではまた！
この記事が気に入ったらサポートをしてみませんか？