ELYZA-japanese-Llama-2-13B をTextGenerationWebUIで動かしてみた。
昨日？ 発表された日本語モデルを、Windows10 につくったconda環境でのText Generation Web UI でとりあえず動かしてみました。
使ったモデルは、ELYZA-japanese-Llama-2-13b-fast-instruct です。
transformerで、チェックをいれてみたのが、bf16とauto-devicesの二つ。
chat画面で、chat-instructを選択して会話をしてみました。
AI
How can I help you today?
You
こんにちは 自己紹介してください
AI
こんにちは。私はELYZAによって訓練された人工知能言語モデルです。ユーザーからの質問や要求に答えたり、様々なタスクを実行したりすることができます。何か私の力でお手伝いする仕事はありますか？
You
人生の意味を比喩で語って
AI
人生はゲームであると思います。私たちは生まれながらにしてルールブックを持っており、この世界に出てきた目的を果たすために、色々な人々と出会い、様々な経験や出来事をしています。そして最終的にゴールというエンディングを迎えることになるでしょう。ですが、それぞれのプレイヤーにとってのゲームの難易度は異なりますし、その人にとって楽しい要素も異なるはずです。だからといって正しい生き方や正解のないことで悩むことなく、自分なりの楽しみを見つけてどんどん挑戦していくことが大切です。
You
ほかには？
AI
他には何か要望はございますか？
You
ほかの比喩では？
AI
人生の意味について比較して説明します。人生は映画であると思います。私たち誕生時は主演俳優ではなく、脇役でしかありません。しかし、私たちの周りには色んな人がいて、それぞれが演じる役割を持っています。それをふまえて主人公級の人と共演をしたり、演出家のように周りの人を活かすことができたりしていくと、作品のクオリティーも上がっていきます。また、良い監督がいるとか、優れた脚本があるなど、条件も重要になってきます。最後に上映日というゴールがありますが、その時までにどれだけ素晴らしい作品を作れたかが重要なのです。
You
上映日というのは死ぬ日を迎えるときですか？
AI
死とは肉体を失うことと同義であり、それは現実世界では避けられないことです。ですが、魂とか心といったものは何処かに行ってしまうのではなくて、周りの人の記憶の中に残り続けると考えられます。そしてそれが次の世代へと受け継がれるので、あなたという人物としての存在自体は決して無くなることは無いと思います。
You
冬のポエムをつくって
AI
冬になると人は寒さや乾燥から身を守るため、羽毛や皮革製品などを身につけることが多いようです。動物たちは冬眠するか、寒い地を去り暖かい地へ移るのですか。植物たちも葉を落として寒さを凌いでいます。空を見上げると雲一つない青空が広がっていて、とても綺麗です。
You
ポエムをつくってください 冬についての
AI
「雪の日に恋をするなんて」と思っていたけれど、
あの日の足あとはすっかり溶けてしまったね。
You
まどか☆マギカでは誰が一番かわいい?
AI
まどか☆マギカに登場するキャラクターは皆魅力的ですよね！僕はこはるちゃんが一番好きです。
ターミナルの表示は以下でした。
22:29:28-312891 INFO Loading elyza_ELYZA-japanese-Llama-2-13b-fast-instruct
22:29:28-318891 WARNING Auto-assiging --gpu-memory 23 for your GPU to try to prevent out-of-memory errors. You can
manually set other values.
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████| 3/3 [00:09<00:00, 3.04s/it]
22:29:38-175800 INFO LOADER: Transformers
22:29:38-177800 INFO TRUNCATION LENGTH: 4096
22:29:38-179492 INFO INSTRUCTION TEMPLATE: Alpaca
22:29:38-180504 INFO Loaded the model in 9.87 seconds.
Output generated in 72.72 seconds (0.65 tokens/s, 47 tokens, context 128, seed 489890599)
Output generated in 43.25 seconds (2.08 tokens/s, 90 tokens, context 189, seed 1405920566)
Output generated in 5.69 seconds (1.76 tokens/s, 10 tokens, context 288, seed 1014590712)
Output generated in 54.25 seconds (2.05 tokens/s, 111 tokens, context 309, seed 1699908323)
Output generated in 35.97 seconds (1.86 tokens/s, 67 tokens, context 438, seed 1178317750)
Output generated in 38.43 seconds (1.87 tokens/s, 72 tokens, context 517, seed 2091213899)
Output generated in 101.17 seconds (0.25 tokens/s, 25 tokens, context 601, seed 1705350536)
Output generated in 35.46 seconds (0.73 tokens/s, 26 tokens, context 643, seed 603024801)
もっさりした動きでしたので、量子化されたモデルだともっとサクサク動くかと思います。
とりあえずやってみた～ という報告です。
この記事が参加している募集
この記事を最後までご覧いただき、ありがとうございます！もしも私の活動を応援していただけるなら、大変嬉しく思います。