シニアが自宅PCでChat with RTXを使いこなす！：日本語での回答は可能なの？
どうも、寝違えて首が痛い！駆け出しシニアのHot3DegC(ホットサンド)です。
最近、集中してNVIDIAのChat with RTXを使って、自宅PCで日本語に強いローカルLLMにRAG機能を活用してドメイン適用出来ないか試行錯誤しております。
なぜ、そんなことをしているのかというと、機密情報やプライバシー情報を外部に漏らさなくて良くなり、もっとAIを安心して気軽に誰でも使える世界に近づければと思っているからなのです。
私のように外国語が不得意な日本人であれば、日本語で質問出来て日本語で答えてくれるAIが望ましいので、日本語に強いAIモデルでなければいけません。
しかし、実際に試してみると、なぜか英語での回答しか得られません。
やりたいことの大半は、Chat with RTXの機能が満たしてくれているはずなので、あとは日本語に強いAIモデルをChat with RTXで使えるようにするだけなのですが……
上手くいきません！！
もう、アップデート待つのが早いのかもと諦めつつ、Chat with RTXに関する記事を読み漁っているとあることに気づきました！！
今回は、私がChat with RTXが日本語での回答ができない原因について調査した結果をご紹介します。
Chat with RTXとは？
Chat with RTXは、NVIDIAが開発したRTX GPU搭載のPC上で動作するチャットボット形式のアプリケーションです。
このアプリケーションが凄いのは、RAG（Retrieval-Augmented Generation）という事前に学習した情報に基づく生成能力に加えて、大量の外部情報から関連情報を検索（Retrieval）して、その情報を元にテキストを生成（Generation）する技術が簡単に体験出来ることにあります。
日本語での回答は可能？
他の人のChat with RTXの記事を見ると、日本語での回答がされているものを見かけます。
しかし、私の実行結果では、常に英語での回答しか得られませんでした。
これはなぜなのでしょうか？
ずっとモヤモヤしておりましたが、日本語に強いAIモデルを使えるようにすれば全て解決すると思い放置しておりました。
が、なんだか気持ち悪い…
検証結果
なんだかスッキリしないので、Chat with RTXの仕様について検証を進めてみました。
その結果、任意のデータセットフォルダを指定すると、英語での回答しか得られないことが判明しました。
他の人の記事の画像を見ていると、皆さん日本語の回答を得られている場合、『Dataset』の設定値が、『AI model default』になっておりました。
こ、これは！
私は、Chat with RTXの特徴がRAG技術にあるので、迷わず『Folder Path』を指定して任意のフォルダを指定していたことに気づき、一旦、初期設定に戻してみることにしました。
すると！
なんと！、私のChat with RTXさんも回答内容の精度は高くないのですが、全て日本語で回答してくれました。
そうなると、今のところ日本語で書かれた外部情報をもとにしたRAG技術は、その効果を十分に活かしきれないことになります。
やはり、日本語のローカルモデルを利用出来るようなアップデートを期待したくなりますね。
そんなアップデートは、いつになるか分からないので、引き続きELYZA（日本語に強いAIモデル）を使えるようにする頑張るしかないのかもしれないですね。
まとめ
Chat with RTXは、日本語での回答も可能ですが、デフォルトのデータセットを使用して、RAG技術を利用することが出来ません。
ＧＷの数日前に、このことが判明して少しやさぐれておりました。
でも、立ち止まっていても仕方がないので、日本語の回答が得られなかった原因が判明したことで、一歩でも理解が深まったと前向きに考えて今後も取り組んで行こうと思います。
次は、RAGの対象にエクセルファイルを追加するにはどうすれば良いかを紹介出来ればと考えております。
それでは、皆さん、引き続き応援のほどよろしくお願いします。
よろしければサポートお願いします！頂いたサポートは記事テーマのツールやアプリの購入費に使わせていただきます！レビュー希望のツールなどあればコメント頂けると嬉しいです。