長文を出力できるLongWriterをText Generation web UIで動かしてみた！

GPT-4o、Glaude3.5、Llama等様々なLLMが存在しますが、どれを使ってみても大体2,000文字までくらいしか出力してくれません。
入力できるトークン数は大幅に向上しましたが、出力って実はめっちゃ難しい。
私はなんとか生成AIに長編小説を書かせたいと思っていて色々試している民なんですが、やっとちょっとはゴールに近づけるLLMが出てきたと思ったので、今回試した内容をご紹介します。

LongWriterで2,000字の壁を越えた！

結論から言うと、LongWriterを使えば約4,000字を一発で出せます！！！
続きの生成をお願いすれば、延々と書いてくれました。
しかし、LongWriter自体に日本語力はあまりないので、日本語に翻訳するための日本語特化LLMは別途必要になってきます。

モデルについて

LongWriterには2種類のモデルがあります。
以下の2つです。それぞれベースとなっているLLMが違います。
お好みでお使いください。
（私はLongWriter-glm4-9bの方が何となく好きかも？）

・LongWriter-glm4-9b
・LongWriter-llama3.1-8b

公式の案内しているデプロイは簡単らしいのですが、私にはなかなかハードルが高く（バージョンがなかなかハマらず…）、今回は別手段で設置しました。

公式のデプロイ方法（日本語版）

Text Generation web UIを導入する

簡単にローカルLLMが設置できるwebUIがあります。その名も、『Text Generation web UI』！

Text Generation web UIのインストール方法

1.設置する場所（Cドライブとか）を決めて、その場所でコマンドプロンプトを開き、以下を実行します。

git clone https://github.com/oobabooga/text-generation-webui.git

2.作られたtext-generation-webuiフォルダ内にあるstart_windows.batを実行してください。（Macユーザはstart_macos.shの方）
3.再びコマンドプロンプトが立ち上がり、GPU選択を求められますので、NVIDIAを選択してください。初回のインストールには時間がかかります。
4.インストールが終わったら、以下をコマンドプロンプトで実行。

python server.py

5.以下のようにローカルURLが表示されると思います。ブラウザでURLを開いてください。

参照画像①

2回目以降の起動は、4からのステップのみでOK！
これで設置完了です。

LLMを選んで使えるようにする

webUIが使えるようになったら、今度はmodelタブでLLMを入れます。

1.以下の画面の右側にある、Downloadで簡単にモデルをインストールできます。

参考画像②

2.今回はLongWriterを入れます。入力フォームが縦に2つ並んでいると思いますが、上の段に「bartowski/LongWriter-llama3.1-8b-GGUF」を入力して、Get file listをクリック。
3.DL可能なGGUFが表示されるので、その中から「LongWriter-llama3.1-8b-Q2_K.gguf」を選びたいと思います。（軽めで3.18GBほど）
4.今度は下の段に、「LongWriter-llama3.1-8b-Q2_K.gguf」を入力してDownloadボタンをクリック。インストールが始まり、時間がかかるのでそのまま置きます。
5.インストールが完了したら、webUIの画面で左側にある「model」の選択をします。更新ボタン（青いサークル）をクリックし、プルダウンから「LongWriter-llama3.1-8b-Q2_K.gguf」を選んでLoadをクリック。Load完了したら、LongWriterが使える状態になりました！
6.DefaultやChatのタブに切り替えて、プロンプトを入力＆実行してみてください。

以上で、導入～操作までの手順説明は終わりです。

もし上手くいかないなどあれば、コメントなどお気軽にどうぞ～。
（私のわかる範囲であればお答えします…！）

まだまだ生成AIだけで小説を書くのに「これだ！使えるぞ！」と思うものはないですが、出力文字数を増やせたという大きな一歩だったのでご紹介しました。
同じように試行錯誤している方、ぜひX等で交流させてください～
X：@ShearsShear