Chat with RTX お試し編
NVIDIAから出ました。
走らせるまでの覚え書きです。
windows11とありましたが、ダメ元で、ダウンロードして最初試しました。
けっこう大きなファイルで、展開するのに時間がそこそこかかりました。
setupのプログラムを走らせると、system check から始まって、そこでは何もエラーがでませんでした。
デフォでは、chatプログラムと、LlamaとMixtralが選ばれています。
そのままインストールを続けましたら、minicondaのインストールから始まり、依存関係やらダウンロードしたりして進んでいきました。
表示画面を見てると、LLMは int4です。
最終的にデスクトップ上にアイコンができました。
アイコンをダブルクリックして立ち上げると、terminalが立ち上がって、進めるには何かキーを押してということで、押しましたがそのままterminalが終わって何も変化ありませんでした。
Windows11でないといけないかと思って、いいきっかけだと思い11にアップグレード。
再度チャレンジしましたが同じでした。
インストール画面の選択のところで、Nvidiaのクリーンインストールというチェックがあったのですが、これはデフォではオフです。
いろいろ触った覚えがあったので、再度 setupから始めて、これにチェックをいれてインストールしなおしました。
再度、デスクトップのショートカットから実行すると、terminalがやっぱり立ち上がり、途中で、別パネルでpythonがinternetにつなげることを許可しますかというのがでてきました。OKで進めると、terminal上でいくつかファイルがダウンロードされて、今度はウェブブラウザが立ち上がりました。
ブラウザ上では、写真にあるような画面です。
左上で、LLM のモデルの選択、右上でyoutubeやdocumentを入れる設定、さらに一番右上にはシャットダウンのボタンがあります。
あとは、普通のchat画面と同じです。
(文章生成が終わったら、カーソルが入力欄にもどらなかったのは謎です）
文章生成には、参考にしたドキュメントも示されていました。
mistralは日本語も表示されましたが、文字化けが多々ありました。
私が試したバージョンは、0.2 でした。
とりあえず触ってみた、やってみた報告です。
蛇足：llm触ってると、ファイル容量の感覚が麻痺してきますね。1TのSSD, 2TのHDDのゲーミングPCですが、もうCドライブいっぱいいっぱいです。
#AI #AIとやってみた #やってみた #ローカルLLM #大規模言語モデル #Nvidia #chatwithrtx
この記事を最後までご覧いただき、ありがとうございます！もしも私の活動を応援していただけるなら、大変嬉しく思います。