StabilityAIの最新モデル！30億パラメータのStableCodeの利用方法!

実際の名称は、Hugging Faceでは、stablecode-instruct-alpha-3bとなります。コード生成に特化した言語モデルとなります。30億パラメータなので、おそらくGitHub Copilotよりは性能が落ちるのではないのかと推測されます。ただ、これをベースに今後発展していく可能性があると考えられます。

今回は、以下のページを参考にしています。

stabilityai/stablecode-instruct-alpha-3b · Hugging Face

上記のページを参考にして、Google Colabで実行するときは以下のように少し修正しています。

!pip install transformers sentencepiece accelerate
!huggingface-cli login

from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("stabilityai/stablecode-instruct-alpha-3b")
model = AutoModelForCausalLM.from_pretrained(
  "stabilityai/stablecode-instruct-alpha-3b",
  trust_remote_code=True,
  torch_dtype="auto",
)
model.cuda()
inputs = tokenizer("###Instruction\nGenerate a python function to find number of CPU cores###Response\n", return_tensors="pt").input_ids.to("cuda")
tokens = model.generate(
  inputs=inputs,
  max_new_tokens=48,
  temperature=0.2,
  do_sample=True,
)
print(tokenizer.decode(tokens[0], skip_special_tokens=True))

上記コードの留意点は、以下です。

・!huggingface-cli loginでHugging Faceのアクセストークンが必要になりますので、事前に下記で取得しておきます。

Hugging Face – The AI community building the future.

Hugging Faceのアクセストークンは、以下のようにGoogle Colabで入力しますと、コードの実行が進みます。

実行結果は、以下のようになりました。

###Instruction
Generate a python function to find number of CPU cores###Response
def get_cpu_count():
    """
    This function will return the number of CPU cores
    """
    import multiprocessing
    return multiprocessing.cpu_count()

とりあえずは、コードを自動生成してもらえたという感じです。今後のパラメータ数の増加に期待です。