LM Studio触ってみた(10分で書く備忘録)

初めに

LM Studioを利用した際の備忘録です

背景

ローカルLLMを利用したいなと思い、日本語LLMで有名なELYZA-japanese-Llama-2-7b-instructを導入しようとして、makeできたけどmainっぽいものがなく試行錯誤したがうまく動かなかったので、他の案として見つかったLM Studioを利用しようとしたのがきっかけ
また、この動かなかった件の調査は後日に….
https://note.com/en2enzo/n/n121f72756e58

LM Studioとは

ローカル環境で、言語モデルを探してダウンロードしたり、言語モデルを利用して会話が出来たり、言語モデルサーバとしての機能できるツール

利用方法

セットアップ

下記のリンクからダウンロードしてインストール実行すればセットアップは完了

👾 LM Studio - Discover and run local LLMs

モデルのダウンロード

下記のような画面が開くはず
検索窓で、利用したい言語モデルを入力して利用したいモデルを選択してダウンロードするだけ

会話のやり方

後は、チャット画面のselect model loadでダウンロードしたモデルを選択してチャットするだけ

左にあるメニューバーの「local server」を選択し、メイン画面にある「start server」をクリックすることで、アプリケーションサーバーとして利用することもできる。
サンプルコードも記載されているので、それを利用してローカルサーバーとやり取りができる

感想

メモリ8Gのmac bookでも動かせたのが驚きだった。(利用したモデルが重くなかっただけだと思うが….)
ローカルでdifyをセットアップして利用しようとしたところ、すごく重くなったので、きちんとした色々開発用のPCを購入しようと思う。

10分ではなく20分で書く備忘録になってしまった….
次からはスクショなどはあらかじめ取っておこう。