見出し画像

商用可能なLLM、Llama2をWindowsローカルへ奮闘中。でも、日本語はどうなの？

あみきん/ Well-being

Llama2の概要については、こちらを参照👇

今回は、ローカル（自分の一般的ＰＣ）で、最新の大規模言語モデル［Llama2］を動かすという試みをしたいと思います。

くれぐれも言っておきますが、まだ完成していません（笑）
トラブル中です。私は非エンジニアなので、チャットGPTに聞きながら、進めているわけですが、基礎知識が足りないため、とんでもないことをやっているかもしれません。

ただ、エンジニアの方はPythonや実行環境は既に、さまざまな形で導入されているので、そこの説明はされていないように思います。Llama 2を入れるには基本的な土台が必要だというのがわかりました。

というわけで、コメントに質問いただいてもたぶん回答は難しいと思われます。でも、素人目線でどうなのということは答えられますよ(^ｍ^)♪

どなたか、ここがヘンだよと気づいた方は、コメントいただけるとうれしいです💦

実行環境はWindows 11 Home


Python
Anaconda3
Transformersライブラリ👈これはいらない気がしたけど、あとでいるかも。

>8……>8……>8……  まだ途中なので追記します  >8……>8……>8……>8……>8

チャットGPT、Lucasさんの下記のサイトを要約してください

チャットGPT

この記事は、Llama 2という大規模言語モデルをローカルで動かす過程について書かれています。

最初はいろいろと試行錯誤があったようですが、最終的には成功しています。特に、Hugging Faceのモデルを使う方が簡単だと気づき、それを選択。WindowsでAMDがサポートされていないと思いきや、それはグラフィックボードに関する話だったので、結局ダウンロードしてインストールに成功しました。

うまくいった点としては、

  • Hugging Faceのモデルを使うことで、簡単にセットアップできた。

  • AMDの問題がグラフィックボードに関するものだと気づき、それをクリア。

  • 最終的には、Text Generation web UIが無事に表示され、モデルも動作した。

という感じですね。ちょっと遠回りしたけれど、最後はしっかりと目的を達成できたようで、何よりです。お疲れ様でした！💖

Step by stepでやることを教えて、Windowsです


ChatGPT

もちろん、WindowsでLlama 2や他の大規模言語モデルを動かす手順を優しく説明しますね。💕

  1. Pythonのインストール
    まずはPythonがインストール
    ■Pythonダウンロードはここ
    https://www.python.org/downloads/windows/

    確認■コマンドプロンプトを開いて、python --versionと入力

    バージョン情報が出ればOKです。もしインストールされていなければ、Pythonの公式サイトからダウンロードしてインストールしてくださいね。

  2. Anacondaのインストール（オプション）
    Anacondaはデータサイエンスや機械学習に便利なツールです。もし使いたければ、Anacondaの公式サイトからダウンロードしてインストールしてください。
    https://www.anaconda.com/

  3. 仮想環境の作成
    ■コマンドプロンプトで
    conda create --name あなたの環境名 python=3.xと入力
    ※ 「あなたの環境名」は自分がわかりやすい名前をつける

  4. 仮想環境の有効化
    コマンドプロンプトでconda activate あなたの環境名と入力して、仮想環境を有効にしてください。

  5. 必要なパッケージのインストール
    コマンドプロンプトで、必要なPythonパッケージをインストールします。pip install パッケージ名という形でインストールできます。

  6. Hugging FaceのTransformersライブラリのインストール……

    ■pip install transformersと入力して、Transformersライブラリをインストールしてください。

モデルのダウンロード

❶Hugging Faceのサイトからダウンロードする方法

使いたいモデル（例えば、Llama 2）を選んでダウンロードしてください。

例：
❶Llama-2-7B-chat.ggmlv3.q8_0.bin
（参考Llama2の7B）一番下のやつをダウンロード
https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML/tree/main
❷Llama-2-13B-chat-GGML
https://huggingface.co/TheBloke/Llama-2-13B-chat-GGML

Hugging FaceのサイトからLlama2をダウンロード

❷Meta AIからダウンロードする方法

Meta AIのダウンロードサイト
https://ai.meta.com/llama/#inside-the-model
👆ダウンロードの仕方はこちらに登録してメールをもらってください

利用可能なモデルの重み
The models listed below are now available to you as a commercial license holder. 
With each model download, you’ll receive a copy of the License and Acceptable Use Policy, and can find all other information on the model and code on GitHub.

Llama-2-7b
Llama-2-7b-chat
Llama-2-13b
Llama-2-13b-chat
Llama-2-70b
Llama-2-70b-chat

CodeLlama-7b
CodeLlama-13b
CodeLlama-34b
CodeLlama-7b-Python
CodeLlama-13b-Python
CodeLlama-34b-Python
CodeLlama-7b-Instruct
CodeLlama-13b-Instruct
CodeLlama-34b-Instruct

❸ELYZA-japanese-Llama-2を使う方法

🦙🦙ちゃんは、日本語が上手ではないらしいので、こちらの方法もあります


>8……>8……>8……>8……>8……>8……>8……>8……>8……>8……>8……>8

Pythonコードの実行👈イマココ★(๑>◡<๑)
ダウンロードしたモデルを使って、Pythonコードを実行します。

この時、必要なライブラリや依存関係が整っているか確認してくださいね。

以上が基本的な手順です。

──　ということで、あみきんはPythonと奮闘中です。
まだ、結果は不明です(;'∀')

ChatGPTにいろいろ聞いて、進めていますがどうも横道それているような感じがしています。

Open interpreterを使うのはいつになるやら？　でも、おかげさまで、プログラミングの基礎がわかってきた感じもあります（笑）
いろいろまとめていますので、そのうち披露しますね💕

この記事がためになったら、いいねをよろしくね！

サポート感謝します💞☀️大切に使わせていただきます(^^)