LINEの3.6B言語モデルで遊んだら爆笑した

2023年8月16日 05:23

LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。
細かいやり方は大先生のページを参照のこと。

例によってこんな関数を書いた

def line(prompt):
    # 推論の実行
    input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
    tokens = model.generate(
        input_ids.to(device=model.device),
        min_length=50,
        max_length=300,
        temperature=1.0,
        do_sample=True,
        pad_token_id=tokenizer.pad_token_id,
    )
    output = tokenizer.decode(tokens[0])
    print(output)

これは「質問に答える」モデルではなく、「文章の続きをつくる」モデルであることに注意。質問するのではなく、これから回答を書くつもりでプロンプトを書くのがコツ。

試しに「酒とは、」と入れて見る。

>>> line("酒とは、")
酒とは、米と水と麹のみを使い、発酵、蒸留を経て造られる。発酵には、麹が深くかかわる。発酵は、発酵の「種」が繁殖するため、この発酵の種の状態が重要。その種の状態こそ「菌」の働き。菌は、胞子を作る。胞子は菌の種類ごとに固有の形をもつが、形が同じであっても、それぞれの菌が増殖するのに必要なものは、その菌によって異なるため、発酵する種の状態は、発酵する菌によってまちまちである。日本酒は米と水と麹のみでできると聞く。しかし、日本酒には米と水と麹以外にも酒に必要なものがあり、その中には、他の醸造物と共通するものも、その酒によって必須のものもある。また、酒によっては、その酒に必須のものが、他の酒にとっては必須のものでないこともある。</s>

凄いじゃん!
ちゃんとしてる。
もう少し高度なことを聞いて見る。

>>> line("日本酒が苦手という女性にあえておおすすめしたい日本酒は、")
日本酒が苦手という女性にあえておおすすめしたい日本酒は、女性に人気の高い梅酒や果実酒です。お酒が苦手で日本酒に苦手意識のある人も、梅酒や果実酒であればおいしく飲むことができるので、一度試してみましょう。また、日本酒にはポリフェノールが入っているので美容効果も期待できます。ワインが好きな方はワインの飲みすぎには気を付けて、日本酒にも目を向けてみてはいかがでしょうか。女性が喜ぶおしゃれなインテリアグッズ女性はおしゃれなものが大好きですので、おしゃれなインテリアグッズもプレゼントに喜ばれます。彼女が部屋のインテリアをおしゃれにしたい人であれば、好きなカラーの花瓶やキャンドルを飾っても良いですね。また、キャンドルのほのかな優しい香りや、花びらの優雅な動き、ガラスの透明感などを好む人も女性多いので、プレゼントに贈ってみてはいかがでしょうか。生花よりも長持ちするので飾っておく期間が長く、香りの癒し効果を得ることができます。女性にとってはお花をプレゼントされるというのは、幸せなサプライズになります。アロマなどのリラックスアイテムアロマはアロマオイルの柔らかい香りで、心が落ち着くので女性に人気の高いリラクゼーションアイテムです。女性は香りにも大変敏感で、良い香りを嗅いだだけでその良い香りのリラックス効果に魅了され、幸せな気持ちになります。アロマオイルの精油の中には、リラックス効果をもたらすものが多くあります。リラックスできる香りをプレゼントすることにより、女性はより心穏やかな気持ちになり、リラックス効果が得られます。ぜひ彼女に合ったリラックス効果のあるアロマオイルをプレゼントしましょう。フラワーギフトフラワーギフトは誕生日だけでなく、様々なお祝いの際に利用されており、人気の高いプレゼントです。おしゃれな女性であれば、フラワーギフトを貰って喜ばない女性はいません。季節の花や、プリザーブドフラワーやドライフラワーなど、生花以外のアレンジメントなど

途中から女性へのプレゼントの話になってしまったが、まあこれはこれでありか。

もうちょっと違う聞き方もしてみよう。

>>> line("日本酒が苦手という女性や欧米人にあえてお薦めしたい飲み方は、")
日本酒が苦手という女性や欧米人にあえてお薦めしたい飲み方は、ソーダ割りにすることです。日本酒にソーダ水を入れると、甘ったるさがなくなって、すっきりと飲みやすい日本酒カクテルに変身します。居酒屋でオーダーすると、1合瓶の半分ほどの量で600円程のソーダ水。炭酸水はペットボトル入りのものが230円前後で売られているため、カクテルにすれば、かなりの節約にもなるのです。炭酸はアルコール分を中和してくれるため、アルコールが弱い方は、炭酸水で割ったものを試してみると良いかもしれません。日本酒を炭酸で割っても、日本酒の風味は損なわれず、すっきりした飲み口になるため、日本酒初心者でも日本酒になじみやすいカクテルなのです。フルーティな日本酒と炭酸の相性はとても良いので、カクテル初心者の方は、ぜひ試していただきたいと思います。</s>

すげえ。
これは素直にすげえと思った。万能か。

次に、物語っぽいこともやらせてみるか。

>>> line("その日の放課後、俺は学校からの帰り道で、ユミと話をした。")
その日の放課後、俺は学校からの帰り道で、ユミと話をした。
「でね、実は今日はあたしと、ユウの大事なデートの日なのよ、うふふ」ユミが、いつになく上機嫌で俺に話してくれた。
今日は日曜日で学校もないので、今日はデートをしている。
ユミとの付き合いは長いが、デートの約束をすっぽかしたことは一度もない。
「そ、そういえばユミは......彼氏はいるのか?」「いるわよ」ユミが明るく即答する。
「なんだ、彼氏がいるのか。
俺も、彼氏を作りたいと思っているんだ」「あたしも作りたいと思ってるわ」「その、彼氏というのは、どこの学校なんだ?」「内緒、内緒」ユミが悪戯っぽく言う。
「でも、あたしはユウがいい。
ユウがいい、ユウがいいから」ユミの瞳が、潤んでいた。
「あ、ああ」「ユウが好き。
ユウのこと、愛しているわ」ユミが突然、俺の左胸に頭を押し付けてきた。
「あ、ユミ......どうした?」「ユウが好き。
すごく好き」「うん......」ユミの柔らかい髪のいい香りや温かい身体の感触が、俺の全身を包み込んでくれた。
「ユウ、ユウ。
ユウがいい。
ユウがいい。
ユウがいい」耳元でユミが、俺の名前を繰り返す。
俺の頬に、ユミの唇が触れた。
俺の唇が、ユミの唇に触れた。
頬、唇、唇、

なんだこれ。なんだか今まで見たことがないタイプの出力だぞ。
契約書とか読めるかな

>>> line("甲は、乙に対し、以下の責務を持つものとする。\n")
甲は、乙に対し、以下の責務を持つものとする。
(3)甲は、第19条第1号及び第4号に規定する甲の役員の解任並びに甲における役職の変更の都度、乙に速やかにこれを文書で届け出るものとする。
(4)甲は、乙に対し、本契約が終了したとき、または法令の定めによる場合その他甲が本契約に基づく義務を停止させた場合(第19条第4号)、乙は直ちにその旨を甲に文書で通知しなければならない。
(5)甲は、乙に対し、乙が第19条3項の規程に違反した場合には、損害賠償金(遅延損害金を含む。以下、損害賠償金を「損害金」という。)を請求することがある。
乙は、本契約を履行するに当たり、甲の指定する業務従事者に対して、次の各号によりその業務従事者に係る健康及び福祉を増進させるために必要な措置を講じなければならない。
(1)甲から本契約において業務従事者に適用される健康及び福祉を増進させるため適切な措置を講じるよう要請があったときは、当該業務従事者に対し、必要な措置を講じることを求めるものとする。
(3)業務従事者は、前項の措置が法令等により定められているときは、その措置に従わなければならない。
甲は、乙と協議の上、本契約の有効期間中、必要と認められる業務従事者を追加することができる。
業務従事者が本契約に関して知り得た甲の情報については、善良なる管理者の注意義務をもって本契約の

凄い。読んでる。
これは面白い。3.6Bとはいえ、やはり読ませたデータが重要なのだ。

>>> line("祇園精舎の鐘の声")
祇園精舎の鐘の声諸行無常の響きあり。沙羅双樹の花の色盛者必衰の理をあらは(わ)す。おごれる人も久しからずただ春の夜の夢のごとし。たけき者も遂にはほろびぬ何ぞ事業を成さん。祇園精舎の鐘の声諸行無常の響きあり。沙羅双樹の花の色盛者必衰の理をあらは(わ)す。おごれる人も久しからずただ春の夜の夢のごとし。たけき者も遂にはほろびぬ何ぞ事業を成さん。祇園精舎の鐘の声諸行無常の響きやあり。おごれる人も久しからずただ春の夜の夢のごとし。たけき者も遂にはほろびぬ。何の事業をせんとや。南無阿弥陀南無阿弥陀仏。阿弥陀仏におまかせ。祇園精舎の鐘の声諸行無常の響きあり。おごれる人も久しからずただ春の夜の夢のごとし。たけき者も遂にはほろびぬ。何の事業をせんとや。南無阿弥陀南無阿弥陀仏。阿弥陀仏におまかせ。祇園精舎の鐘の声諸行無常の響きあり。おごれる人も久しからずただ春の夜の夢のごとし。たけき者も遂にはほろびぬ。何の事業を

凄い。
じゃあ発言小町っぽいのはどうだろうか

>>> line("ちなみに私の夫は年収二千万です")
ちなみに私の夫は年収二千万です。 A : 私は年収1500万の旦那と子供二人いますよ。
旦那は自営で年収500万、私は一般で年収100万です。
もちろん二人とも貯金なんてしてません。
貯金する額にもよりますが、子供がまだ小さいなら
これから教育費も掛かりますし、ある程度貯金をして
おいた方が良い気がします。
まだこれから教育費も掛かりますし、二人もお子さんが
いらっしゃるのであれば大変ですよね。
お互い頑張りましょうね!
子供二人を育て上げるためにも、お金が無いと
何もできないですしね。</s>

絶対読んでるだろ。
日本のネットミームはどうだろうか

>>> line("tsudaる")
tsudaる予定。(その2) 2010.3/6(土)@新宿リキッドルーム <SIDE-B> 【SIDE A】 13:30~13:55 Bloodthirsty Butchers opening act:The 69deeps and more 【SIDE B】 14:30~15:00 10-FEET opening act:DJみそしるとMCごはん DJ:DJみそしるとMCごはん / FABLED NUMBER / Czecho No Republic/ DJダイノジ/DALLJUB STEP CLUB/ Turntable Films/ WONK / DJ/MC MORTAR / DJ OHNISHI (FEVER/MOTION BLUE YOKOHAMA) / D.A.N. 【SIDE C】 16:00~17:00 KIMONOS opening act:THE CHiRAL OPEN~22:00 <チケット> 前売:¥4,400(税込ドリンク代別) チケット発売中会場でも手売り(現金のみ、ドリンク代別・整理番号付)、SCRAP online【ticket pour crazy!】にて(クレジットカード/コンビニ払い可)

tsudaる!!そしてリキッドルーム!!!
他にも色々試したけどnoteに書けるのはこのあたりが限界。

とにかくLINEの3.6Bモデル。面白すぎる。
使い方次第で大化けする予感必至。

というのも、やはり読ませてるデータが面白いんだろうなめちゃくちゃ。
結局、おれたちが欲しかったのって、俺たちの文化圏の仲間のとしてのAIだったんじゃないのか。まあちょっとデータがインターネット老人会寄りではあるが。それはテキストデータとしてネットに転がってるのが老人会っぽいものが多くて、たぶん今の若者はTikTokか、せいぜいYouTuberしか見てないので、YouTuberの情報はテキスト化されないから、今後はYouTubeやTikTok、ニコ生を学習したモデルの登場が待たれる。