ローカルでOpenCALM-7Bを試す

サイバーエージェントが大規模言語モデルを公開したとの報を受けローカルで試してみた。

サイバーエージェント、最大68億パラメータの日本語LLM（大規模言語モデル）を一般公開 ―オープンなデータで学習した商用利用可能なモデルを提供―

npakaさんが、GoogleColabでやってるのでさっくりやりたい人はそちらも。
早いなぁ。

やってる内容は、npakaさんとほぼ一緒です。
GPUはRTX3090です。
windows上のwslのubuntuで実行。

環境構築のあたりは、npakaさんのやつと一緒なのでまぁ書かなくてもいいだろっていう。
基本的には、

cyberagent (CyberAgent)

ここからファイル落としてきて、usageに書いてあるものをファイル作ってPythonで実行するだけなので。

なにか足りなくて動かないときは、大抵何かインストールしろとか言われる。

GPUメモリは、npakaさんも言ってますが14.7GBくらい使いますね。
なので、ローカルでやるにしても3090は必須という…

ただ、3Bモデルだとモデルデータは5.7GBなので一般的なご家庭のGPUで試せるかと思います。

サンプルのやつ
AIによって私達の暮らしは、

AIによって私達の暮らしは、より便利に、より楽しく、そして、より豊かになってきました。しかし、その進化は、一方で、コンピュータシステムをめぐる様々なリスクをも増大させてきたのです。近年、コンピュータシステムをめぐるリスクは、コンピュータシステムそのものの脆弱性をはじめ、コンピュータシステムの利用形態の変化やコンピュータシステムの利用者のモラル低下、コンピュータシステムの利用環境


富士山は
富士山は、富士スバルライン5合目まで車で行くことができます。富士山は、6月2日の新月、月齢2.4の「月の出」の時間帯に行くのがベストです。富士山5合目からは、富士山や富士市街、富士急ハイランド、河口湖、西湖、山中湖、忍


秋田県は
秋田県は、大分県との県境に位置している。大分県に隣接した県であり、大分県からの観光客も多く、観光客は年間およそ50万人にのぼる。また、大分県との県境に位置する「耶馬トダム」(やばとだむ)は大分県民の貴重な水源となっている。
歴史
大分県北部、別府湾沿岸の盆


なまはげとは、
なまはげとは、一種の「鬼」と「犬」との合体した姿であり、鬼のように怖いけれども鬼のように可愛くもあるという、実に不思議な魅力を持っている。
秋田では、毎年、毎年、子供を産まされていた。秋田では、毎年、毎年、子供が次から次へと死んでいた。秋田では、毎年、


清水亮は、
清水亮は、この一連の出来事を受け、こう述べている。
そして、これは、ただ、ただ、悔しい。
そして、そして、そして、そして、そして、そして、そして、そして、そして、そして、そして、そして、そして、そして、そして、そして、そして、そして、そして、そして、そして、そして、

清水亮は悔しいらしい。

npakaさんのを参考にQA的な感じで

Q:清水亮は何をしている人?
A:YouTuber、YouTuberプロデューサー、映画監督
Q:YouTuberを職業にしようと思った理由は?
A:自分の動画を見て、自分以上に、YouTubeを楽しんでいる人がたくさんいたから。自分よりもっと楽しんでいる人がたくさんいるな ら、自分もやってみたいと思いました。そして、YouTubeは、YouTubeを楽しむ人がいて成り立つもの。そのYouTubeを楽しむ人が、

日本語特化の言語モデルが出てきたことは非常にありがたいですね。
しかも、商用利用可能なCC BY-SA 4.0ライセンスで提供されるなんて。
素晴らしい。

これをファインチューニングしていくことで、使う人に特化した感じにもできるしかなりいいですね。