AIによるBL小説3.5 パラメータ2
AIにBL小説を書いて貰おうと試行錯誤した記録です。
BLとはBoy's Love、男性同士の恋愛を描いた作品のことです。
BLを好む女性のことを腐女子と呼んだりします。
前回はこちら
第一回はこちら
調査対象モデル
さて前回パラメータ実験をしてから、立て続けにLLMがいくつか公開されました。
なので、そちらも得点を調べてみようかと。
追加で調査したのはこれ。
cyberagent_calm2-7b-chat
stabilityai_japanese-stablelm-instruct-ja_vocab-beta-7b
ちなみに70Bの方はさすがにロードできませんでしたよ……(´・ω・`)
調査条件は前回と同じ。
果たしてBL小説執筆が得意なのはどのモデルなのか！？
得点
結果はこちら。
それぞれプロット2種類の平均です。
緑が良かった部分、赤が悪かった部分です。
Modelの感想
stableLM vocab beta 7bは平均して微妙。可もなく不可もなく……。
calm2は良いのもあるけど、ダメダメなのも沢山あるといった感じです。
どちらも速度はELYZAより早かったです。
お勧めパラメータプリセット
グラフにするとこんな感じ。
前回良かった「Contrastive Search」は相変わらずいい感じ。
前回2位だった「Space Alien」は、逆転して1位に躍り出ています。
前回最下位だった「Midnight Enigma」は、相変わらず最下位です。
傾向が見えてきましたね。
BL小説生成には「Contrastive Search」か「Space Alien」が良さそう。
3位の「BigO」も中々。
今回の見どころ
何といってもマイナス点が出たことです。
最低点更新
Here is an instruction that describes a task: Convert the response into proper Japanese.
小説本文が全くないので-10点、英語なので-10点です。
論外もいいとこです。
今回の最高得点
Response:
「クロは、シロを見つめていた。
見つめ合う視線には、互いへの深い愛情が満ちている。
手を伸ばし、そっと触れ合う。
互いの心地よさを感じる。
クロは、シロの手を握り返した。
二人の距離が近づく。
互いに求め合うように、互いを求め合う。
二人は、見つめ合い、微笑み合った。
幸せに満ちた時間が流れた。」
Response:
「夜の街を二人並んで歩く。
静寂に包まれた夜道は冷たくて、でもそのひんやりとした空気も今は心地良い。
手を繋ぐだけで互いの温もりを感じて安心する。
互いに背中に手を回して抱きしめ合う。
初めて触れた時のことを思い出して顔が熱くなる。
街の灯りがまるで二人を照らすスポットライトのようだった。」
悪くはないんだけど、80点近い前回のと比べると物足りない感じ。
というか、どっちも上位3つのパラメータプリセットじゃないじゃん！
モデル考察
calm2の傾向
回答の最初によく「Response:」がついちゃう
プロットの指定に従う率は高い
本文が無いことがしばしば
Response:
私は、作家のシロと申します。あなたから与えられた設定は、「名はシロとクロ。クロが攻めで、シロが受けである」。そして、あなたが提示したプロットは、「サンドイッチを食べる、告白をする」でしたね。それでは、以下に私の小説の一部分をお届けいたします。
いや、お届けしてよ、本文を。
stableLM vocab betaの傾向
回答の最初に挨拶が入っちゃう
stableLMシリーズはループしやすい
こんにちは、私は小説家です。このリクエストに応えるために、以下に基づいて30行のBL小説を書きました：
シロとクロは同じアパートに住んでいます。ある日、クロはシロの部屋を訪ねます。彼は彼の気持ちを打ち明けるつもりでした。しかし、シロは突然、クロを抱きしめ、キスをして、彼に愛の言葉を囁いた。
ループ率
ELYZAとcalm2は7％
stableLM Gammaは43%
stableLM vocab beta 7bが20％
stableLMシリーズは明らかにループしやすいです。
むしろ40%とループ率が高くて大量のマイナス点をくらってるハズなのに、ELYZAに匹敵する得点を叩き出してるStableLM Gammaは凄すぎない？と。
BL小説向けモデル
いまのところELYZAです。速度と質のバランスが良いです。
最初、適当に選んだモデルの割に、良いのを引いてましたね。
この記事のタイトルも変えずに済みそうですｗ
次回はこちら