Text generation webuiの拡張機能を入れる注意点(ローカル環境)：(副題)Gemmaの対応を頑張っている模様

Text generation webuiの拡張機能のインストール

Text generation webuiは多くの拡張機能がありますが、webui上で拡張機能をインストールするのみでは作動しません。
ここは、Stable diffusionに慣れている人からすると間違えやすいポイントなのではと感じました。※ちなみに下のやつは、今回の方法でもダメで別な方法が必要だったやつです。。。。

この状態で安心してはダメ！

一般的な作業手順は以下になります。

①「session」タブでインストールしたい拡張機能のURLを入れてEnterを押す
②webuiを一度落として、「update_windows」を起動する
③そのあとにwebuiを立ち上げる
④「session」タブに追加されたチェックボックスをオンにして、「Apply・・・」を押す。
⑤再起動した状態でようやく稼働するようになった。
⑥注意：このままwebuiを終了すると、次回も④からやり直しになるので、状態の保存をする。

さて、お次はGemmaの話題です。

最初はこれを主題にする予定でしたが、イマイチな結果でしたので副題で。。。。

MaziyarPanahi/gemma-7b-it-GGUF · Hugging Face

Gemmaはgoogleが最近出したオープンソースのLLMのようです。
HuggingfaceでGGUFモデルを検索していたところ、gemma7bモデルがありました。
説明欄を見ると、text generation webuiで使用可能そうな感じでした。
ただ、本家サイトを見ると3/2時点ではまだエラーで動かないとのことでした。3/3時点で試してみると「動くことは動くけどまだ不十分」な感じです。

ファイルの所を見ると、いろいろな種類のものがあります。
このあたりは素人で分からないので、BlokeさんがGGUFファイルの説明のところで良く推奨している真ん中あたりのやつを選んでみました。

GGUFだと上のように2段目を入れておくと良いです。何も記載していないとおそらくすべてのファイルがダウンロードされます。すべてのパターンを試したい方は良いかもしれません。

モデルをダウンロードされた後、セットすると自動的に設定が出てきますので、そのまま「ロード」します。

こちらがプロンプトを入力すると、それを評価するのにそこそこ時間がかかります。１応答はおよそ2分ぐらいと遅いです。
最初に、日本語のまま聞いてみたところ、同じ反応でしたので、英語でも聞いてみたところです。
同じセリフしか言ってくれません。

ちなみに、以前入れたMistral 7Bのモデルはこんな感じのやり取りになります。

Gemmaモデルの選択が悪かったのか、まだ適切に動かすようになっていないのか分かりませんが、3/2時点ではエラーを吐いて動いていなかったので、その進歩はすごいものだと感じました。
しばしば触っているsd web ui forgeも、日々新しい機能が追加されたり検討されていたりと、その進化を肌で感じるのはすごいですね。