LM Studioを使ってELYZA Japaneseをインストールしてみた

とある諸事情から、LLMをインストールしてローカルで使えるようにってことをやっている。

最初はGPT4ALL

元々はGPT4ALLを触ってた。GPT4ALLも良かったんだが、日本語環境が欲しいな、と思ったので、別の環境を探してた。ちなみに、GPT4ALLを触るならこのページを参考にするのが一番いいんじゃないかと。

GPT4Allを活用して、ローカルでChatGPTを構築するレシピ

で、日本語LLMを探してたんだが、そんなにハイスペックなPCを持ってるわけでもないし、他の人間にもインストールさせたいので、GPUがないロー〜ミドルスペックPCでも使えるようなものを探してた。

ローカルで動く日本語LLMを求めて

そしたらLM StudioをベースにELYZAがいいんじゃないか、ってことで、試すことにしてみた。ちょうどLlama2も気になってたところでもあるし、試してみるにはちょうどいいんじゃないかと。とは言え、ELYZAをインストールしたところでLlama2が分かる様になるわけじゃないけど。

あとやっぱり、東大の松尾研が立ち上げた会社だからなぁ。気になるよね。

参考にさせていただいたのはこちらのサイト。

LM Studio でローカル環境でLLMを動かす手順について - Qiita

そして使用したPCはこちらのPC。

CoreBox-ミニPC-カテゴリー-Chuwi（ツーウェイ） 公式サイト

Amazonで買ったのだけど、CHUWIのオフィシャルサイトに同じスペックのが載ってないんだよね。何でだろう。Amazonオリジナルとかそんな感じなのかな。スペックは以下。

• CPU: Intel Core i5 8259U

• Mem: 16GB

• Storage: SSD 512GB

• GPU: Intel Iris Plus Graphics 655

まあ、ネットサーフィンとかOffice Suite使うとか動画見るとかなら全く問題ないレベル。逆を言うと、それ以上のことは難しいというレベル。コレでも行けるのか？

Step1：LM Studioのインストール

LM Studio+ELYZAのインストール自体は超簡単。まずはLM Studioをインストール。LM StudioはGPT4ALLと同様の、LLMを動作させるためのプラットフォーム。ここにいろんなLLMをダウンロードして使う。

LM Studioのサイトに行って、Windowsをダウンロードする。

LM Studio自体は400MBくらいなので、すぐにダウンロード自体は終わる。で、デスクトップに出来るアイコンをクリックしたらこんな画面が立ち上がる。

Step2：ELYZAのモデルをDLする

LM Studioの画面の左側にある虫眼鏡マークをクリックすると、モデルを検索してダウンロードする画面に切り替わる。

ここでELYZA Japaneseと入力して検索すると、いろんなのが出てきてよく分からん状態に陥る。なんのこっちゃ。どれを選べばいいんだよ。

さっぱり分からんので、Webで調べてみると、ここがなんとなく分かりやすかった。

結局良くわかってないんだけど、まあ取り敢えずしょぼいスペックのものだったら、7BのQ4かA5のK_Mくらいを選んどくのが良さそう。すげーのが欲しいわけじゃなくて、取り敢えず動かせる、というレベルのものが欲しいので。

ということで、ELYZA-Japanese-Llama-2-7b-fast-instructQ4_K_Mを選択してダウンロード。

Q4_K_Mでも4GB近いサイズがあるので、まあダウンロードが終わるまではのんびりと。

Step3：実際に使ってみる。

ダウンロードが終わったら、左のメニューに有る吹き出しのアイコンをクリックすると、チャットの画面に切り替わる。

ここで、画面上部でダウンロードしたうち、どのモデルを使用するかを選択する。今回は1つしかDLしてないので、それを選ぶ。

でまあ、実際にいくつか問合せをしてみた。日本の首都は？とか、東京の情報を教えて、とか。

まあ、回答はびっくりするくらい微妙。そして、こいつはすぐに「リンクはこちら」って逃げよる。お前、ちゃんと答えを返せよ。しかもそのリンクは貼られてないし。どこに見に行けっつーねん。

あと、情報としては多少古いんだろうな、と思ってたので、最新の情報が出てこなくても良いんだけど、現在の横綱は誰か聞いたら、聞いたことのない力士の名前が出てきた。

誰だよ、稀勢龍って。鶴竜と稀勢の里がごっちゃになった？でも鶴竜は龍じゃないからなぁ。どこから来たんだ。。。

LM Studio使ってチューニングとか出来るのかな。そのへんはまだよく分からん。でも、簡単にインストールして使える、ってことは分かった。

ただ、PCのスペックがしょぼすぎるからか、質問投げてから返ってくるまで数秒かかるね。まあコレは仕方ない。

次はM2 MBAにも入れてみよう

取り敢えずQ4_K_Mは使えたので、次は同じマシンにQ5と13Bを入れてみようと思ってる。13Bが動くのかどうか。動いてくれたらかなり良さそうなんだが、更に回答まで時間がかかりそうだな。。。

後は、メインPCとして使用しているM2 MBAにも入れてみようと考えている。今日はもうやらないけど、近日中にやってみる。どうだろう、13Bとか普通に使えるといいのだけど。

こうやって気軽にLLMをローカルに入れて楽しめるのはいいね。普段は落としとけば大きな問題にもならないだろうし。ロー〜ミドルスペックのPCでも十分に楽しめるってのが良いし、ChatGPTとかBardを使うのが禁止されているところなら、こういうのを使ってみるのも悪くないかも知れない。

取り敢えず今日はこれくらいにしといてやるか。来週にはコレをレクチャーしなあかんねんけどな！