Llama3をGPT4Allで動かしてみた！

先月リリースされたMeta社のLlama3モデル。GPU無くてもローカルで動かせるときき、せっかくのGW（特に、当社5/2はありがたいことに全社休業！）なので、ネットで色々検索していたら、以下サイトを見つけたので、早速試してみることにした。

発表されたばかりの「Llama 3」モデルをクリックするだけでChatGPTのようなサービスをローカルで使える手順 - 吉田の備忘録

推奨スペックとして
メモリ／RAM：16GB以上推奨
ストレージ空き容量：10GB以上

と記載あるが、ストレージ空き容量はかろうじてあるものの、私のPCはメモリ8GB。でも、PC動かなくなったらアンインストールすればいいや、と思い、とりあえずトライ。

１．GPT4Allのインストール

https://gpt4all.io/index.html

上記サイトでWindows版をDLし、インストーラーに従ってインストール実施

２．Llama3のダウンロード

GPT4Allを起動し、Llama3をダウンロード（以下はDownload終了後の画面）
※メモリが不足しているとの警告が想定通り出ているがダウンロードは完了

３．使ってみる

中央上部で　Llama3のモデルを選択すると、普通のChatGPTのように感じでチャットを始めることができた。
※但しメモリが足りなすぎて、返答が返ってくるのに数十分かかり、他の作業が出来なくなってしまう為、稼働確認だけで断念。。。

尚、右上の歯車のマーク（Setting）から予めプロンプトなどを用意しておくことも可能。

4．感想

やはり私のPCのスペックでは色々試すことは困難ではあったが、とりあえず、Llama3をローカルで動かせたことに感動！また、GPT4Allは、プログラムとか何も書かなくてもモデルを選択するだけですぐに使えるので、私のような素人にはとっても優しいと思いました。