マガジンのカバー画像

大規模言語モデル（LLM）

34
本
運営しているクリエイター
はまち

#GPT

rinna-3.6b-instraction-ppoと会話する簡易プログラム 【Colab無料枠でも動きます】

超シンプルな「rinna-3.6b-instraction-ppo」と会話できるプログラムを掲載します。 google colab の無料枠のGPU（T4）でも動きますし、お手元のゲーミングＰＣ、ゲーミングノートでも十分動くと思いますので、興味がある方はぜひ、お試しいただければ。 GPUメモリサイズに応じて、model読み込みのオプションを、指定なし、load_in_4bit=True, load_in_8bit=True, torch_dtype=torch.floa

はまち

rinna社が日本語特化の対話GPT言語モデルを公開！ VRAM6GBあれば動くかも。

rinna社から、日本語に特化した強化学習済みの「対話GPT言語モデル：rinna/japanese-gpt-neox-3.6b-instruction-ppo」をオープンソースで公開したとの大ニュースがありましたので、早速ためしてみます！😀 無料のGoogle Colabで動くお試し用の簡易プログラムも作ってみましたので、ぜひお試しください。 １．モデル特徴（プレス文から）36億パラメータ（3.6B）を持つ汎用GPT言語モデルをベースに、対話GPT言語モデルへのfine

はまち