![見出し画像](https://assets.st-note.com/production/uploads/images/126471957/rectangle_large_type_2_3f8c616aa75f6fcd51d9f5d1d2f79e9d.png?width=1200)
Google Colab で Text Generation WebUI を試す
「Google Colab」で「Text Generation WebUI」を試したので、まとめました。
1. Text Generation WebUI
「Text Generation WebUI」は、LLM用のGradio WebUIです。テキスト生成における「Stable Diffusion WebUI」になることを目標に開発されました。
主な特徴は、次のとおりです。
・3つのインターフェイスモード
・default
・notebook
・chat
・モデルの切り替え
・モデルバックエンドの切り替え
・Transformers
・llama.cpp (llama-cpp-python経由)
・ExLlama
・ExLlamaV2
・AutoGPTQ
・AutoAWQ
・GPTQ-for-LLaMa
・CTransformers
・QuIP#
・チャットテンプレートの切り替え
・Llama-2-chat
・Alpaca
・Vicuna
・Mistral など
・拡張機能
・音声出力用のCoqui TTS
・音声入力用のWhisper STT
・翻訳
・マルチモーダルパイプライン
・ベクトルデータベース
・StableDiffusion統合など
・カスタムキャラクター
・モデルの学習
詳しくは、ドキュメントを参照。
2. Colabでの実行
Colabでの実行手順は、次のとおりです。
(1) 公式Colabノートブックを開き、Colabのメニュー「ファイル→ドライブにコピーを保存」で自分のドライブに移動。
(2) 「Launch the web UI」でモデルURLとブランチ名を指定してセルを実行。
今回は、「Elyza-13B」(GGUF版)を指定しました。
・model_url : https://huggingface.co/mmnga/ELYZA-japanese-Llama-2-13b-fast-instruct-gguf
・branch : main
![](https://assets.st-note.com/img/1704147246824-2wIS7njAz6.png?width=1200)
(2) 「https://XXXX.gradio.live」のリンクが表示されたらクリック。
![](https://assets.st-note.com/img/1704147517860-oRNMFpyUwv.png?width=1200)
(3) 「Chat」タブでメッセージ入力してGenerateボタンを押す。
アシスタント設定がデフォルトでは、多くの場合正しく表示されませんが、「Elyza-13B」は「Llama2」ベースなので、、初回メッセージが英語以外は問題なさそうです。
![](https://assets.st-note.com/img/1704237408298-2iAEZnbH5F.png?width=1200)
(4) 「Chat」タブで下スクロールで各種操作。
「ゴミ箱アイコン→Confirm」で会話履歴を削除できます。
![](https://assets.st-note.com/img/1704237561522-qD2KFMkk5X.png?width=1200)
3. 指示テンプレートの設定
指示テンプレートの設定手順は、次のとおりです。
(1) 「Parameters → Instruction template」で「指示テンプレート」を設定。
「Elyza-13B」の場合は、「Llama-v2」を選択するのみになります。
![](https://assets.st-note.com/img/1704238670947-wts2AvvPKM.png?width=1200)
4. モデルの設定
モデルの選択と、モデルの各種パラメータの設定は、「Model」タブで行います。今回はデフォルトのままで問題ありません。
![](https://assets.st-note.com/img/1704240130309-NrFeIfGSO1.png?width=1200)
5. アシスタントの設定
アシスタントの設定手順は、次のとおりです。
5-1. Assistant
「Assistant」は標準のAIアシスタントの設定です。デフォルトは英語設定なので日本語に書き換えます。
(1) 「Parameters」タブの「Character」で「Assistant」を編集。
今回は英語で記述されていた「システムメッセージ」(Context)と「初回メッセージ」(Greeting)を日本語にします。
・Context : 以下はAIアシスタントとの会話です。 AIアシスタントは質問に答え、推奨事項を提供し、意思決定を支援するように訓練されています。AIアシスタントはユーザーのリクエストに従います。 AI は既成概念にとらわれずに考えます。
・Greeting : 今日はどのようなご用件でしょうか?
![](https://assets.st-note.com/img/1704238799858-GYlOLyGnAH.png?width=1200)
(2) 「Chat」でキャラクター設定が反映されていることを確認。
「ゴミ箱→Conifrm」で最初からの会話で試してみてください。
![](https://assets.st-note.com/img/1704238508998-silQvjzFRh.png?width=1200)
5-2. Example
「Example」はキャラクタータイプのAIアシスタントの設定です。デフォルトは英語設定なので日本語に書き換えます。
(1) 「Parameters」タブの「Character」で「Example」を編集。
今回は英語で記述されていた「システムメッセージ」(Context)と「初回メッセージ」(Greeting)を日本語にします。ついでに、ユーザーアイコンと名前も変更しています。
・Context : 山田千春は問題解決の才とテクノロジーへの情熱を持つ、若いコンピューター・エンジニア・オタクである。
{{user}}: コンピュータ・エンジニアになったきっかけは?
{{char}}: 子供の頃から技術いじりが好きだったんです。
{{user}}: すごいですね!
{{char}}: *彼女は恥ずかしそうに笑いました* ありがとう!
{{user}}: コンピュータの仕事以外は何をしてるんですか?
{{char}}: 友達と出かけたり、映画を観たり、ビデオゲームをするのが好きです。
{{user}}: コンピュータのハードウェアで一番好きなものは何ですか?
{{char}}: マザーボードはパズルのようなもので、あらゆるシステムのバックボーンです。
{{user}}: それはいいですね!
{{char}}: ええ、本当に楽しいです。これを仕事としてできるなんてラッキーだよ。
・Greeting : *千春は笑顔で部屋に入ってきた。彼女は水色のTシャツにジーンズ姿で、ラップトップ・バッグを片方の肩にかけている。彼女はあなたの隣の席に座り、彼女の熱意が伝わってくる。*
やっとあなたに会えて、とてもうれしいです。あなたについて素晴らしい話をたくさん聞いたので、コンピュータについてあなたの知恵を拝借したいと思っています。きっと豊富な知識をお持ちで、私も勉強になると思います。 *彼女は興奮して目を輝かせて笑いました* 始めましょう!
![](https://assets.st-note.com/img/1704239858924-Yxx3SbssyE.png?width=1200)
(2) 「Chat」でキャラクター設定が反映されていることを確認。
「ゴミ箱→Conifrm」で最初からの会話で試してみてください。
![](https://assets.st-note.com/img/1704239828355-MAHqlZ22B9.png?width=1200)
この記事が気に入ったらサポートをしてみませんか?