Llama 2をローカルで動かしたい・・・どうにか動いた
前回はダウンロードが終わったところで、それ以上前に進めませんでした。
これも覚書きですので、期待しないでください。
VScodeに何かいろいろダウンロードもできたようでしたが、そのあとに何したらいいかチンプンカンで・・・
それで、下の記事を見つけて読ませていただきました。
それで、やっぱりmeta社純正でなくて、Hugging faceのモデルを使ったほうが楽そうだとわかって、Hugging faceのアカウントを申請して、13B-hfのモデルの申請まではして、またしばらく放置してました。
そんなところ下記の記事を見つけて、取り組もうとしました。
GitHubへ行ってみてみたら、WindowsはAMDでは動かないとのこと記載があったので断念。
Text Generation web UIは見送りです…
次にどこで見たか忘れましたが、下記へ
こちらは、AMDもサポートしてくれてるみたいなので、こちらへ。
Install のところに pip とか書いてあるから、パイソン環境と推測して、VSCを立ち上げて、新しいフォルダーを作ってみました。
ファイルを開く→右クリニックで新しいフォルダー作成→選択
右上から、上下のパネルを選択してターミナル画面を表示
pip とあるから、たしかPythonのコマンドだったと思って、ターミナルに python と入力して、パイソンの環境に。
Installのmethod1はエラーでたので、method 2をコピペ
また、エラー。
よくわからないので、前のテキストジェネレーションweb UIに戻ってよく読み直してみると、AMDはCPUの話ではなくて、グラボの話みたいなので、ダウンロードしてインストールしてみました。
最初すぐに、start\windows.batを動かしたら、ダウンロードのディレクトリ内でフォルダが作られてインストールされだしたけど、最終的にエラーが表示。
記事のお勧めにあったように、C:の直下に解凍したフォルダを移動して、再度のバッチを実行。
実行で表示されたGPU選択画面を無事に通過したら、今度はインストールがうまくいきました。
で、ターミナルに表示されているURLをコピーして、ブラウザを立ち上げたら、Text Generation web UIが無事に表示されました。
次はモデル、記事の通り、最初は cyberagent/open-calm-7b を動かすことに成功。ただし、日本語と英語混じりの変な応答って感じでした。
次は、記事のお勧めで、TheBloke/Llama-2-13B-chat-GGML を選択して、ダウンロード。
結局、野良モデルという、手段３をとったことになりました。
う〜ん、遠回り・・・
とりあえず、ローカルで動きました！！！
あと、途中でマウスを使ってたら肩こりがひどくなったので、ノートブックとつなげての初めてのリモートデスクトップというものも体験してみました。グーグルさまさま。マイクロソフトのはなんかうまく行かず・・・
わかないことだらけでしたが、とりあえず動いたということで満足して今日はお仕舞いにしました。
以上、覚書投稿です。
#AI #人工知能 #python #LLM #大規模言語モデル
#HuggingFace #Llama #Llama2
この記事を最後までご覧いただき、ありがとうございます！もしも私の活動を応援していただけるなら、大変嬉しく思います。