先週モラズbotV5では対話機能を付けようと試みた(そして失敗した)。
その際に使ったのは rinna の比較的サイズが小さめな日本語の事前学習済みモデル(japanese-gpt-neox-3.6b-instruction-ppo)だった。
昨日ニュースで日本語に強い大規模言語モデル「Swallow」の公開という話題が上っていた。
モラズbotV5に「Swallow」を使えたりしないかと考え、ちょっとお試ししてみることにした。
公開された中では一番小さな「Swallow-7b」という70億パラメータのモデルを家にあるPC(Ryzen2700X+RTX3070+Memory32GB)で動くか気になったので、それにトライしてみた。
結論としては、時間はかかっても一応メモリ不足エラーなどなく動作した。GPUメモリ8GBぽっちでもどうにか動くようだった(メモリが溢れない工夫を何かされているのだろうか)。
以下いくつか指示と回答を示す。
おわり
「Swallow-7b」ちゃん、けっこうまともな受け答えしてくれる印象。モラズbot にもなにか使えたらいいな。