Swallow-7b おためし
先週モラズbotV5では対話機能を付けようと試みた（そして失敗した）。
その際に使ったのは rinna の比較的サイズが小さめな日本語の事前学習済みモデル（japanese-gpt-neox-3.6b-instruction-ppo）だった。
昨日ニュースで日本語に強い大規模言語モデル「Swallow」の公開という話題が上っていた。
モラズbotV5に「Swallow」を使えたりしないかと考え、ちょっとお試ししてみることにした。
公開された中では一番小さな「Swallow-7b」という70億パラメータのモデルを家にあるPC（Ryzen2700X+RTX3070+Memory32GB）で動くか気になったので、それにトライしてみた。
結論としては、時間はかかっても一応メモリ不足エラーなどなく動作した。GPUメモリ8GBぽっちでもどうにか動くようだった（メモリが溢れない工夫を何かされているのだろうか）。
以下いくつか指示と回答を示す。
### 指示:
以下のトピックに関する詳細な情報を提供してください。
### 入力:
東京タワーについて教えてください
### 応答:はい、確かに、東京タワーは東京のシンボルであり、東京を訪れる観光客を歓迎する人気の観光地です。このユニークな構造物は、1958年の設立以来、地元や観光客に人気があります。
東京タワーは、1958年に建設され、高さ約333メートルの鉄鋼構造物です。元々は世界で最も高い自立型構造物でした。それは2010年までそのステータスを保持し、今日も日本で最も高い自立型構造です。
タワーは、650の階段と多くの踊り場を備えた2つの分離された構造で構成されています。最上部には展望台があり、訪問者は息をのむような景色を眺めることができます。
東京タワーは、毎日午前9時から午後10時まで一般に公開されています。チケットはオンラインまたはタワーのチケットオフィスで購入できます。タワーは、多くのテレビや映画で使用されている日本の有名なランドマークです。
### 指示: 以下のトピックに関する詳細な情報を提供してください。
### 入力: マインクラフトについて教えてください
### 応答:Minecraftは、2009年にMarkus Perssonによって作成されたサンドボックスゲームで、プレイヤーが3Dの世界でブロックを組み合わせて構造を作成し、ゲームの世界を探索できるようにするものです。プレイヤーは、モンスターを倒したり、資源を集めたり、村を建設したりしながら、ゲームの世界を探検します。
おわり
「Swallow-7b」ちゃん、けっこうまともな受け答えしてくれる印象。モラズbot にもなにか使えたらいいな。
この記事が気に入ったらサポートをしてみませんか？