パソコンの中にChatGPTがあれば推しと無限会話できるんじゃね！？【下調べ編】
皆さんこんにちは。
入海七水（いりうみしちすい）です。
今日は、タイトル通りに「パソコンの中にChatGPTがあれば推しと無限会話できるんじゃね！？」ということについて調べたので、メモ記事です。
上記の記事を読んだら大体のことは分かるのですが、とはいえ躓いたところもありましたので、自分と同じ躓きをした人の役に立てばと書きました。
まったくPC知識がなくても何とかなるように書いていますので、逆に詳しい方からすると引っぱたきたい内容かもしれません。
ターミナルとかローカルとか言われても分からないレベルを想定しています。
この記事を読んでも最低限の事前知識がつく程度で、実際に何をするかはわかりません。
最初に貼ったWikiを読んでいただくのが一番です。
【超初級用語集】
LLMって何？
Large Language Modelの略です。
特にAIでも、大規模な（Large）、言語（Language）を学習したモデルということで、言葉に強いAIです。
今回はこれを使って、推しと会話をしたり夢小説を生成させます。
ローカルって何？
今回の意味ではオンラインの対義語です。
ChatGPT、Claude、Birdなどのネットにつないで使うAIに対して、自分のPC上で動かすよということです。
自分のPCで使うので、ChatGPTの社員さんが読んじゃうかもしれないとか、えっちなのはやめてくださいと怒られるかもという心配はありません。
ターミナルって何？
AI系のソフトは詳しい人向けだったり、あんまり整備がされてないので、クリック操作するボタンとかがないことがあります。
なので、ボタンなしの文字だけでPCを操作します。
その操作ソフト、操作画面をターミナルと言います。
Windowsだとコマンドプロンプト、PowerShellが入っています。
あとは、自分ちのPCが貧弱な人向けに、PCを貸してくれるサービスがあったりするのですが、遠くのキーボードを直接叩くわけにはいきません。それで遠隔操作するのに使ったりします。
具体的にはGPUSOROBANとか。一番安いと1時間50円とかで使えます。（回しものではありませんが、公式がStableDiffusionの解説ブログを上げている親切さなのは本当におすすめ。痒い所を掻きにきている……。）
グラフィックボードって何？
PCパーツの一種で、これがついていると3D演算とAI系の演算ができます。
行列計算ができると3DもAIも強いんだってよ。
グラボとか略されています。AI用途で大事なのはVRAMです。
VRAMってなに？
グラボがおっさんだとして、おっさんが計算に使える机の広さです。
おっさんの人数や優秀さも大事ですが、机が狭いと頑張れません。
AI用途だとVRAMが正義で、おっさんが優秀なことより机の広さが大事になります。
ロールプレイ/ERPって？
AI文脈でロールプレイというと、キャラクターのなりきりです。
ERPはEroticRoleplayで、つまりえっちなロールプレイです。
GGUFって？
LLMはそのままだと逸般の誤家庭向けです。量子化（この記事では、なんか軽くしてくれる程度の把握で大丈夫です）をすることで、お使いのPCでも動くようにしてくれます。
それで量子化したものがGGUFです。
参考文献：
準備編
そもそもLLMを使う時、
・モデルを探す
・モデルを動作させるインターフェースを探す
という過程があります。
LLMは単体だと動きません。
ただの数値の集合なので、その集合をかけ算したりなんなり計算してくれる人が必要です。
それがインターフェースです。
モデルを探そう編
私が使っているグラフィックボードは、GTX 3060Tiです。
おっさんで例えると、おっさんの机は狭いけどおっさんたちが優秀という、ゲームには十分だけど、AIにはちょっと不便なグラフィックボードですね。
このボードのVRAMは8GBです。
なので、「超簡単初めてのLLaMaガイド」の「8GB程度のVRAM向け」項目を確認しました。
私におすすめなのはVicuna-7bと、Pygmalion-6bらしい。
……とはいえ、なにもかもがよくわからないので、とりあえず調べたモデルの特徴や性能をメモしていきます。
LLaMAという、FaceBookが発表した言語モデルがあります。それをベースに改変したのが、Vicuna-7b、Pygmalion-6b。
で、特にPygmalionはキャラクターロールプレイで使われやすいらしい。
他にも気になったモデルは以下です。
LightChatAssistant
なんならグラフィックボードがなくても動く性能の量子化バージョンがあるらしい。
Antler-7B-Novel-Writing
これはもとからあるAntler-7Bをさらに小説向けに調整したものです。なろうを多く学習しているらしく、プロンプトが独特です。
ChatGPTくらいの雑な指示だとうまく動かないので、慣れが必要そうです。
Command-R+
これはこちらの記事で性能がいいと書かれていたので気になりました。
Xで記事について「小説のレビューだけでなく、執筆もしてくれそう」と言及したところ、著者の方からコメントを頂きました。実際それなりには書いてくれるそうです。
インターフェースを探そう編
なんかよくわからないが、KoboldAIとかTavernAIというものがあるらしい。違いやどういうものかがあんまりわからなかったのでまとめました。
KoboldAI
LLMを良い感じに動かしてくれて、お使いのブラウザで命令を送れるようにしてくれるみたいです。
AIって名前ですし、実際にKoboldAIというモデルはあるのですが、AIそのものとしてより、インターフェースとして名前が挙がることが多いみたいです。
TavernAI
LLMを直接動かしてはくれないですが、LLMを動かすソフトやウェブサービスと連携してくれます。
有志のキャラ設定を拾ってきたり、AIにキャラ設定や世界観設定を代わりに教え込んでくれるみたいな感じです。
これはAIって名前ですが、AIは入っていないので、違うAIと繋いでねということです。
汎用的なKoboldAIよりもストーリー用途に長けていて、KoboldAIと連携させて使われることが多いみたいです。
EasyNovelAssistant
これは先ほどの記事の方が紹介してくれたものです。
小説生成をやりやすくしてくれるインターフェースです。
何が便利かというと、ガチャの途中で外れっぽいと思ったらガチャをやめて引き直す機能がついているみたいな感じだそうです。
私は上手く動作しなかったので、あんまり細かいことは言えません……。
gradioでLLMを動かす簡易クライアント
https://gist.github.com/kohya-ss/e23fa9a321dba07fabd1ef61eab6863c
シンプルに使えます。ターミナルとか、起動時にオプションをつけたりするのに慣れていないとちょっと難しいかも。でも一番シンプルでした。
長くなり過ぎたので次に続きます。
この記事が気に入ったらサポートをしてみませんか？