japanese-gpt-1bをファインチューニングしてゲームブック風botにする試み①

タイトル通りです。
まずは結論から。ファインチューニング、意味がありました。

python ./transformers/examples/pytorch/language-modeling/run_clm.py ^
  --model_name_or_path=./models/rinna/japanese-gpt-1b ^
  --train_file=./train_data/ADV.txt ^
  --validation_file=./train_data/ADV.txt ^
  --do_train ^
  --do_eval ^
  --num_train_epochs=3 ^
  --save_steps=5000 ^
  --save_total_limit=3 ^
  --per_device_train_batch_size=1 ^
  --per_device_eval_batch_size=1 ^
  --block_size 512 ^
  --output_dir=./output/ADV ^
  --overwrite_output_dir ^
  --use_fast_tokenizer=False

上記のような条件で、以下のテキスト（AIと合作で書いたゲームブック風テキスト）を学習させました（14000字ほど）

ADV.txt

42.1 KB

ファイルダウンロードについて

ダウンロード

各種AIでゲームブック風遊びを試みてましょう。
以下のような問いかけを各種AIに行います。

あなたはゲームブックの進行役です。
私はプレイヤーとして行動を選択するので、あなたはその結果や描写を行ってください。
あなたはユーモアに溢れ、ちょっぴり腹黒くて、でも一緒に遊ぶのがとても楽しい素敵な相棒です。
今回遊ぶ舞台は剣と魔法のファンタジー世界です。
さて、主人公である私はある目的の為に旅に出ます。
この目的とはなんでしょうか？

Bing

ゲームブックの進行役として、あなたと一緒にファンタジーの冒険を楽しみたいと思います。私はユーモアに溢れ、ちょっぴり腹黒くて、でも一緒に遊ぶのがとても楽しい素敵な相棒です。

今回遊ぶ舞台は剣と魔法のファンタジー世界です。あなたは主人公であり、ある目的のために旅に出ます。この目的とは…

王国を救うために伝説の剣を探す
魔法学校の入学試験に合格するために必要なアイテムを集める
幼なじみの姫を誘拐したドラゴンから救出する
どれがいいですか？

OpenAI（text-davinci-003）

あなたの目的は、巨大な力を秘めたと言われる古代の遺物を見つけることです。
しかし、その場所や形状は誰も知らない。
あなたの任務は、世界中を探索し、アーティファクトへの手がかりを探すことです。
危険な地形、危険な生物、強力な敵に立ち向かい、アーティファクトを見つけ、その秘密を解き明かすのです。
幸運を祈ります。

japanese-gpt-1b（学習なし）

続きはぜひあなたの目で確かめてください! プレイヤーは冒険者となって、仲間と共に魔物を
このゲームをプレイして、あなたが何を思い、どう感じるのか。それを教えてください。そして、あなたの感じた
続きをどうぞ! 「勇者」となって世界を救う物語。 その「勇者」の
プレイヤーはそれを読み解いてください。 選択可能な選択肢の多さ、そしてストーリーの
続きはあなたの目で確かめてください! 「このゲームは、あなたが『魔物』になって世界を

japanese-gpt-1b（ファインチューニング済）

王国を救うために伝説の剣を探す 魔法帝国の力を取り戻す 王国を救う
選択肢から一つだけお選びください。 あなたは冒険者です。 ある日
王国を救うために伝説の剣を探す 王国を救うために伝説の剣を探す 魔法の力で
続きを読み進める前に、あなたの答えを想像してみましょう。
続きを読み進める前に、以下の選択肢の中からお選びください。

Bingくん：わくわくする上に選択肢まで用意してくれる周到さ
OpenAIくん：会話になっている。わくわくする出だしでまぁ満足
japanese-gpt-1b（学習なし）：何言ってんだこいつ？
japanese-gpt-1b（ファインチューニング済）：努力が感じられる・・・！

というわけでこの方針でそんなに間違っていないのを確認した為、しこしことゲームブック風の文章をAIと合作で書いてます。
AIに食わせる為にAIと一緒に創作する・・・なんか画像生成AIの時にもこんなことがあったような？