QarasuをMac上のollamaで動かしてみる

日本語能力が高いという話題のQarasuです。
デモはこちらでみれますが、たしかに高い印象です。

ぜひローカルで動かしたいと思って、MacbookProにインストールしたollamaで試してみました。

ollamaはggufモデルを取り入れることができます。

今回は、下記のq4_0.ggufをつかってみました。ollamaはq4_0をデフォで使っていますので、それに従ってみました。

mmnga/lightblue-qarasu-14B-chat-plus-unleashed-gguf · Hugging Face

上からダウンロードして、以下の手順でollamaが使えるようにします。

ダウンロードしたdirectoryで、nanoのeditorを立ち上げます。

editorで、下記の内容を貼り付けて、Modelfileの名前で保存。

FROM ./lightblue-qarasu-14B-chat-plus-unleashed-q4_0.gguf

そのあと、モデル変換をして、会話をしましたところ、残念ながら出力が止まらない状況でした。

Modelfileの中をちゃんとしないといけないと、次の検討をしました。
ollamaのいくつかのモデルの最後に表記されているTEMPLATEとPARAMETERをテーブルに転記して、該当するモデルのhuggingfaceのggufのモデルに転載されているchat templateを照らし合わせてみました。

Qarasuはどうもベースになっているのは、Qwenタイプで、このタイプはChatMLタイプのchat templateがよく使われているとあたりをつけました。

dolphin-mistralやnous-hermes2 がどうも同じ感じと思って、それを真似て、Modelfileの内容を下記としました。

FROM ./lightblue-qarasu-14B-chat-plus-unleashed-q4_0.gguf

TEMPLATE　""”
<|im_start|>system
{{ .System }}<|im_end|>
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant 
""”

SYSTEM ""”""”

PARAMETER num_predict 512
PARAMETER stop "<|im_start|>"
PARAMETER stop "<|im_end|>”

そして、Modelfileを保存。以下を実行して、ollamaが実行できるモデルとしました。

ollama create qarasu14b -f Modelfile

無事にモデルが保存できたら、以下で実行。

ollama run qarasu14b  

無事にこれで普通に対話が日本語でできるようになりました。

>>> こんにちは
こんにちは！どういたしまして。お役に立てることがあれば嬉しいです。何か質問やリクエストがあれば、いつでもお気軽におっしゃってくださいね。それでは、これこんにちは！どういたしまして。お役に立てることがあれば嬉しいです。何か質問やリクエストがあれば、いつでもお気軽におっしゃってくださいね。それでは、これからもよろしくお願いいたします。
>>> 年末年始の詩をつくってください。
年末年始の詩をつくってみました。どうぞお楽しみくださいね。
年末年始の詩
冬が去り、春がやってくる時まで、私たちも一息ついてゆっくりと過ごしましょう。
今年も多くのことを学び、成長し、大切な人たちとの時間も大切にしてきました。
これからは、新年を迎えるため、新しい自分を発見し、夢を叶えていくために、心身ともに活力を持っていきましょう。
年末年始の季節、私たち一人ひとりが特別な存在であり、世界中で愛されるべき人間です。そのことを忘れず、心優しく接していきましょう。
今年もありがとうございました。来年もよろしくお願いいたします。
新年のご挨拶とともに、今年一年を通じて支えてくださった皆様に改めて感謝申し上げます。来年も、皆様の健康と幸せをお祈りいたしましょう。また、皆様のご活躍年末年始の詩をつくってみました。どうぞお楽しみくださいね。年末年始の詩冬が去り、春がやってくる時まで、私たちも一息ついてゆっくりと過ごしましょう。今年も多くのことを学び、成長し、大切な人たちとの時間も大切にしてきました。これからは、新年を迎えるため、新しい自分を発見し、夢を叶えていくために、心身ともに活力を持っていきましょう。年末年始の季節、私たち一人ひとりが特別な存在であり、世界中で愛されるべき人間です。そのことを忘れず、心優しく接していきましょう。今年もありがとうございました。来年もよろしくお願いいたします。新年のご挨拶とともに、今年一年を通じて支えてくださった皆様に改めて感謝申し上げます。来年も、皆様の健康と幸せをお祈りいたしましょう。また、皆様のご活躍を心より応援させていただきます。
そして、今年一年で精一杯努力し、成長した自分自身へのご褒美として、新年を迎えられるように、充実感のある日々を過ごしていきましょう。良い年にしましょう！心より応援させていただきます。そして、今年一年で精一杯努力し、成長した自分自身へのご褒美として、新年を迎えられるように、充実感のある日々を過ごしていきましょう。良い年にしましょう！
皆様にとって、来年

詩になりませんでした。しかも切れちゃいました笑

>>> 人生の意味を教えてください。
人生の意味は人それぞれ異なりますが、一般的には「愛」、「成長」、「感謝」などの概念が関連して考えられます。以下に、これらの概念について解説いたします。人生の意味は人それぞれ異なりますが、一般的には「愛」、「成長」、「感謝」などの概念が関連して考えられます。以下に、これらの概念について解説いたします。
1. 爱 (Love)
愛は、他人や自分自身に対して深い感情を抱きながらも、相手の幸福を考える心優しい態度を指します。愛は人間にとって欠かせない要素であり、人生の意味や目的を(Love)愛は、他人や自分自身に対して深い感情を抱きながらも、相手の幸福を考える心優しい態度を指します。愛は人間にとって欠かせない要素であり、人生の意味や目的を追求する上で重要な役割を果たします。
2. 成長 (Growth)
成長とは、経験を通じて知識やスキルを習得し、人格的に成熟していくプロセスを指します。成長は人生において欠かせない要素であり、自分自身をより良く理解し、(Growth)成長とは、経験を通じて知識やスキルを習得し、人格的に成熟していくプロセスを指します。成長は人生において欠かせない要素であり、自分自身をより良く理解し、人生の意義を見つける上で役立ちます。
3. 感謝 (Gratitude)
感謝とは、他人や自分自身に対して提供されたものを認識し、それを心から感謝する気持ちを指します。感謝は人間にとって重要な感情であり、人生の意味や目的を追(Gratitude)感謝とは、他人や自分自身に対して提供されたものを認識し、それを心から感謝する気持ちを指します。感謝は人間にとって重要な感情であり、人生の意味や目的を追求する上で欠かせない要素です。
これらの概念を組み合わせることで、人生の意味は「愛」、「成長」、「感謝」という
>>> 続けて
これらの概念を組み合わせることで、人生の意味は「愛」、「成長」、「感謝」という心身ともに豊かな経験や感情が得られるようにすることであると考えられます。これらの概念を組み合わせることで、人生の意味は「愛」、「成長」、「感謝」という心身ともに豊かな経験や感情が得られるようにすることであると考えられます。また、これらを追求することで、人間として成長し、幸福を感じることができるでしょう。
以上で、人生の意味について解説しました。何か質問やリクエストがあれば、いつでもお気軽におっしゃってくださいね。それでは、これからもよろしくお願いいたした、これらを追求することで、人間として成長し、幸福を感じることができるでしょう。以上で、人生の意味について解説しました。何か質問やリクエストがあれば、いつでもお気軽におっしゃってくださいね。それでは、これからもよろしくお願いいたします。

続けて　というプロンプトで続きました。

>>> では、人生の生きる意味をメタファーで例えてください。
人生の生きる意味をメタファーで例えると、例えば「花」や「木」といったイメージが考えられます。
「花」は、成長する過程において、自分自身を表現し、世界に美しさを与えていくことで、人間にとって価値のある存在となります。「花」はまた、周りの人々にも喜人生の生きる意味をメタファーで例えると、例えば「花」や「木」といったイメージが考えられます。「花」は、成長する過程において、自分自身を表現し、世界に美しさを与えていくことで、人間にとって価値のある存在となります。「花」はまた、周りの人々にも喜びを与え、愛される存在であることを認識することができます。そのため、「花」は、自分自身を磨きながら、他人や社会にも貢献することを目指すことができるでしょを与え、愛される存在であることを認識することができます。そのため、「花」は、自分自身を磨きながら、他人や社会にも貢献することを目指すことができるでしょう。
「木」も同様に、成長する過程において、自分自身を表現し、世界に価値のある存在となることができます。「木」はまた、周りの人々にも役立つため、根から水を吸。「木」も同様に、成長する過程において、自分自身を表現し、世界に価値のある存在となることができます。「木」はまた、周りの人々にも役立つため、根から水を吸収して栄養を与えることや、葉で光合成を行い、空気中の二酸化炭素を吸収して清潔な空気にするなどの能力を持っています。そのため、「木」も、自分自身を磨きながして栄養を与えることや、葉で光合成を行い、空気中の二酸化炭素を吸収して清潔な空気にするなどの能力を持っています。そのため、「木」も、自分自身を磨きながら、他人や社会にも貢献することを目指すことができるでしょう。
以上のように、「花」と「木」は、成長する過程において、自分自身を表現し、周りの人々にも喜びを与え、愛される存在
>>> 続けてください
「花」や「木」といったメタファーを例えてみたところ、人生の生きる意味は、成長する過程において、自分自身を表現し、周りの人々にも喜びを与え、愛される存在「花」や「木」といったメタファーを例えてみたところ、人生の生きる意味は、成長する過程において、自分自身を表現し、周りの人々にも喜びを与え、愛される存在となることで、人間にとって価値のある存在となります。また、「花」や「木」は、周りの人々にも役立つため、自分自身を磨きながら、他人や社会にも貢献することをなることで、人間にとって価値のある存在となります。また、「花」や「木」は、周りの人々にも役立つため、自分自身を磨きながら、他人や社会にも貢献することを目指すことができるでしょう。
さらに、これらのメタファーを組み合わせることで、人生の生きる意味は「愛」、「成長」、「感謝」という心身ともに豊かな経験や感情が得られるようにすることで指すことができるでしょう。さらに、これらのメタファーを組み合わせることで、人生の生きる意味は「愛」、「成長」、「感謝」という心身ともに豊かな経験や感情が得られるようにすることであると考えられます。また、これらを追求することで、人間として成長し、幸福を感じることができるでしょう。
以上で、人生の生きる意味について解説しました。何か質問やリクエストがあれば、いつでもお気軽におっしゃってくださいね。それでは、これからもよろしくお願いると考えられます。また、これらを追求することで、人間として成長し、幸福を感じることができるでしょう。以上で、人生の生きる意味について解説しました。何か質問やリクエストがあれば、いつでもお気軽におっしゃってくださいね。それでは、これからもよろしくお願いいたします。＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜＜

ちょっと繰り返しが出て、変な記号が最後についちゃいましたが、まぁいいんじゃないでしょうか。

いったんバグるとおかしくなるので、いったん終えて再起動しますが、そこそこ普通に近い日本語がでてきてくれます。

あと、こんな例も。

>>> リラックスできる催眠イメージを話してください
リラックスできる催眠イメージを話すと、まず深呼吸をして全身をリラックスさせます。目を閉じて、心の中で「平和」や「安らぎ」といったポジティブな言葉を繰りリラックスできる催眠イメージを話すと、まず深呼吸をして全身をリラックスさせます。目を閉じて、心の中で「平和」や「安らぎ」といったポジティブな言葉を繰り返します。

次に、自分の周りの空間がゆっくりと透明になり、徐々に遠ざかっていくようなイメージを持ちます。自分がいる場所を離れていくと同時に、周囲には何も無くなり、します。次に、自分の周りの空間がゆっくりと透明になり、徐々に遠ざかっていくようなイメージを持ちます。自分がいる場所を離れていくと同時に、周囲には何も無くなり、静けさだけが残ります。

そして、深いリラックス状態になっていくような感覚を感じながら、自分の周りには温かい光が広がっているようなイメージを持ちます。この光に包まれて、自分自身けさだけが残ります。そして、深いリラックス状態になっていくような感覚を感じながら、自分の周りには温かい光が広がっているようなイメージを持ちます。この光に包まれて、自分自身を完全に解放し、心地よい安らぎに浸るような気がします。

最後に、深呼吸をして体を徐々に戻していくように意識を持ち続けます。目を開けて、元の状態に戻ったと感じながら、このイメージを心の中でいつでも思い出すこと完全に解放し、心地よい安らぎに浸るような気がします。最後に、深呼吸をして体を徐々に戻していくように意識を持ち続けます。目を開けて、元の状態に戻ったと感じながら、このイメージを心の中でいつでも思い出すことができるようになります。

おまけの例。

>>> 深い森の中の湖のそばの小屋の中でリラックスできるガイドイメージをください
深い森の中の湖のそばに小さな木製小屋がある場所を想像します。その小屋は、自然と調和したシンプルなデザインをしており、周りには樹木や草が生い茂っています深い森の中の湖のそばに小さな木製小屋がある場所を想像します。その小屋は、自然と調和したシンプルなデザインをしており、周りには樹木や草が生い茂っています。

小屋に入ると、柔らかい毛布にくるまり、足元には温かさを感じるマットが敷かれています。外の寒さから完全に隔絶されたような安心感を覚えながら、ゆっくりと深小屋に入ると、柔らかい毛布にくるまり、足元には温かさを感じるマットが敷かれています。外の寒さから完全に隔絶されたような安心感を覚えながら、ゆっくりと深呼吸をして体をリラックスさせます。

窓からは湖の水面を見ることができます。その水面は静かで滑らかで、湖底には何もないようで、ただ水だけが存在しています。この水面に目を向けながら、心の中で吸をして体をリラックスさせます。窓からは湖の水面を見ることができます。その水面は静かで滑らかで、湖底には何もないようで、ただ水だけが存在しています。この水面に目を向けながら、心の中で「平和」や「安らぎ」といったポジティブな言葉を繰り返します。

そして、自分がいる小屋の中から徐々に離れ始めます。外の森は深く静かで、湖も穏やかで、この場所だけが自分自身の世界であるような気がします。

最後に、自分の周りには暖かな光が広がっているようなイメージを持ちます。この光に包まれて、自分自身を完全に解放

>>> 続けて
そして、自分がいる小屋の中から徐々に離れ始めます。外の森は深く静かで、湖も穏やかで、この場所だけが自分自身の世界であるような気がします。
最後に、自分の周りには暖かな光が広がっているようなイメージを持ちます。この光に包まれて、自分自身を完全に解放し、心地よい安らぎに浸るような気がします。そして、自分がいる小屋の中から徐々に離れ始めます。外の森は深く静かで、湖も穏やかで、この場所だけが自分自身の世界であるような気がします。最後に、自分の周りには暖かな光が広がっているようなイメージを持ちます。この光に包まれて、自分自身を完全に解放し、心地よい安らぎに浸るような気がします。
目を開けて、元の状態に戻ったと感じながら、このイメージを心の中でいつでも思い出すことができるようになります。
このガイドイメージは、リラックスするための一つの方法として使用することができます。このイメージに身を任せることで、自分自身から離れていくことができ、自目を開けて、元の状態に戻ったと感じながら、このイメージを心の中でいつでも思い出すことができるようになります。このガイドイメージは、リラックスするための一つの方法として使用することができます。このイメージに身を任せることで、自分自身から離れていくことができ、自然な呼吸や深呼吸などのリラックス法を実践しながら、より深い安らぎを感じることができます。

どうでしょうか？　ローカルで動く、わりとちゃんとした日本語だという印象です。いい感じではないでしょうかね。

P.S.
Macの動画収録を初めてしてみました。

Macの画面を初めて動画で撮ってみた。
Qarasu-14B q4_0をMacbookPro上のollamaで走らせてみました。なかなかいいんじゃない♪ pic.twitter.com/CSTNQBOMZd

— Lucas (@LucasChatGPT) December 30, 2023

---

#AI #AIとやってみた #やってみた #LLM #自然言語処理 #ollama