LINEのLLMがおもしろい

モデルがいろんなのが出すぎていて困っているのだが、その中でもLINEの公開したモデルがおもしろいらしい。試してみた。実行環境はgoogle colabのT4。

コードはHow To Useをほぼそのまま使っている。
line-corporation/japanese-large-lm-3.6b · Hugging Face

# パッケージのインストール
!pip install transformers sentencepiece

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed
 
model = AutoModelForCausalLM.from_pretrained("line-corporation/japanese-large-lm-3.6b", torch_dtype=torch.float16)
tokenizer = AutoTokenizer.from_pretrained("line-corporation/japanese-large-lm-3.6b", use_fast=False, legacy=False)
generator = pipeline("text-generation", model=model, tokenizer=tokenizer, device=0)

input = "おはようございます、今日の天気は"

text = generator(
    input,
    max_lenth=300,
    temperature=1.0,
    do_sample=True,
    pad_token_id=tokenizer.pad_token_id,
)

print(text)

出力結果が以下。本当は一行だが見やすいように改行している。

おはようございます、今日の天気は雨模様ですね。
梅雨のこの時期の 体調管理は難しいです。
今日は、「「3つの質問ノート」に書き込んで 自分を納得させてみましょう」をお話します。
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 
私はあるきっかけがあって、ノートに書くこと を始めました。 
それは、仕事に関することや、日常のことでも 結構、どんなことでも良いのです。 
例えば、 
・今日はこんなことがあって、こんな気持ちだったな、 
・最近忙しくて、睡眠不足になっているな、 
・上司に腹が立ち、ムシャクシャしているな。 
・あの件はどうなったかな? 
などの内容です。 この3つの質問は、必ず「朝」と「夜」に書きます。 そして、3つにそれぞれ3項目です。

いきなり出鼻をくじかれる。これは一体なんなんだ。。。。
サンプルの時点で変すぎるだろ。

さて、少し調子を狂わされたがいつもの質問を投げる。この時、注意すべきはこれはチャットのモデルではないので文章の続きを書かせるようにプロンプトを作ることだ。

> 富士山の高さは

富士山の高さは3,776m。 その麓には5合目があり、その標高は2,305m。

→調べたがめっちゃあってる！

> ワンピースの主人公は

ワンピースの主人公は 愛ちゃん 。 愛ちゃんは お母さんと二人暮らしだけれど ピアノが大好きで お友達とピアノを演奏しあうのが とってもとっても大好き 、 お母さんも音楽が大好きでピアノの先生をされています 。

→誰だよ。完全に服のワンピースだ。

> ONE PIECEの主人公は

ONE PIECEの主人公はモンキー・D・ルフィです。

→あってる。

> 武田信玄とは

武田信玄とはどんな人? 武田信玄は山梨の武田神社の主神で武田氏を代々守護した武田信虎の孫、信光から始まる。その子信房は武田氏に仕え、信玄は信房の嫡男である。父の遺言により家督を継ぎ、信義に厚い武将であった。父や叔父と共に武田氏の武田神社の社殿を整備した。 信玄が生まれた頃、甲斐国では武田晴信が出陣した長篠の合戦が行われており、

→信房って誰だ。存在するっぽいがよくわからない。また、最後の一文「信玄が生まれた頃、甲斐国では武田晴信が出陣した長篠の合戦が行われており」はさすがにおかしい。

> 山月記のあらすじは

山月記のあらすじは? ここで、山月記のあらすじを紹介します。 幼い頃に両親を亡くし、叔父に預けられた李徴は、虎となり、野獣と化し、人間への復讐心と狩る側ではなく狩られる側に回りたいという強い思いに日々支配されながら生きてきました。 そのため、臆病な人間であるとともに、自分の狩場と戦場を虎の中から人間の世界へ求めることに躍起となり、ついに、人間との結婚まで果たします

→そういう物語がありそうだが山月記では決してない。

短い回答だと行けそうだが、やはりとんでもない回答も多い。ローカルLLMに正しい知識はあまりできないか。。。流石にGTPくらいのパラメータ数じゃないといけないのかもしれない。

ただ、もう少し触っているが、評判通り面白いことは間違いない。

> ツチノコみつけたｗｗｗ

えーっと、それってあなたのご主人のことですか?\n自分の夫が「自分だって働いてる」とでも主張したいのでしたら、奥様が専業主婦であることは事実でしょうから、お好きになさっててください...としか言いようがありません。

　ツイッターのクソリプか？

> はいお前は

はいお前は... とかいってみては?笑 バカと打った時にでてきたので... ごめんなさい

どういう会話してんだこれ。クソスレかな？

> えーっと、それってあなたの

えーっと、それってあなたのお家が私のところの実家と同じってことですよね? って、もうね、本当にアホかって。 自分の家のご近所さんに何をおっしゃいますやら。 まー、それはそれとして、実はわたくし、その方、実は存じ上げていたんですよ。 お知り合いのご近所さんが、自分の知り合いだったという、非常にややこしい状況に、わたくし、しばし呆然としてしまいました。 まあ、そんなわけで、久しぶりにその方と話しをしました。 わたくしが、いろいろ事情があるから、その方のとこにちょくちょく遊びに来てた、とお伝えすると、その方は、非常にびっくりして喜んでくださいました。 でも、そのあと、ちょっと言いにくそうに、実は、「あ、でも、その知り合いの方に、一度家に遊びに来て欲しいって言われたことがあったんです。

これは古のブログ感あるな。それか２ちゃん。

とにかくLINEさん、とんでもないものを作りましたね。。。素晴らしい。