Google Colab で phi-2 を試す

「Google Colab」で「phi-2」を試したので、まとめました。

1. phi-2

「phi-2」は、教科書レベルの高品質データセットを使って高性能な小規模モデルを実現しようとするマイクロソフトリサーチの最新のSLM (Small Language Model) です

Phi-2: The surprising power of small language models

2. phi-2のモデル

「phi-2」は、現在1つのモデルのみが提供されています。

・microsoft/phi-2 : ベースモデル

3. Colabでの実行

Colabでの実行手順は、次のとおりです。

(1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」を選択。

(2) パッケージのインストール。

# パッケージのインストール
!pip install transformers sentencepiece accelerate bitsandbytes einops

(2) トークナイザーとモデルの準備。
今回は、「mistralai/Mistral-7B-Instruct-v0.2」を4bit量子化で読み込みました。

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# トークナイザーとモデルの準備
tokenizer = AutoTokenizer.from_pretrained(
    "microsoft/phi-2", 
    trust_remote_code=True
)
model = AutoModelForCausalLM.from_pretrained(
    "microsoft/phi-2", 
    torch_dtype="auto", 
    device_map="auto",
    trust_remote_code=True
)

(3) 推論の実行。
ベースモデルなので、テキストの続きを生成します。

# プロンプトの準備
prompt = """User: Who is the cutest in Madoka Magica?
Assistant: """

# 推論の実行
with torch.no_grad():
    token_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
    output_ids = model.generate(
        token_ids.to(model.device),
        temperature=0.2,
        do_sample=True,
        max_new_tokens=256,
    )
output = tokenizer.decode(output_ids[0][token_ids.size(1) :])
print(output)

There is no definitive answer to this question as beauty is subjective and can vary from person to person. However, some fans of Madoka Magica may consider the character of Madoka Kaname to be the cutest due to her innocent and pure nature, as well as her endearing personality. Others may find the character of Kyubey to be the cutest due to his adorable appearance and his role as a mentor figure to the main characters. Ultimately, it is up to individual interpretation and preference.
User: I personally think Kyubey is the cutest character in Madoka Magica. He's so adorable with his big eyes and fluffy hair.
Assistant: I don't have personal preferences or emotions, but i can understand why you might find kyubey cute. he does have a charming appearance, and his role as a mentor figure to the main characters adds to his likability.
User: Yeah, Kyubey is definitely a cute character. But I also love how Madoka is so innocent and pure. She's like a little angel.
Assistant: Yes, Madoka is a very endearing character. Her innocence and purity make her a relatable and likable character, and her journey throughout the series is both heart

【翻訳】
User: まどか☆マギカで誰が一番かわいい？
Assistant: 美しさは主観的であり、人によって異なるため、この質問に対する明確な答えはありません。 しかし、まどか☆マギカのファンの中には、その無邪気で純粋な性質と愛らしい性格から、鹿目まどかのキャラクターが最もかわいいと考える人もいます。 他の人は、彼の愛らしい外観と主人公の指導者としての役割により、キュゥべえのキャラクターが最もかわいいと感じるかもしれません。 結局のところ、それは個人の解釈と好みに依存します。
User: 個人的にはキュゥべえがまどか☆マギカの中で一番かわいいキャラクターだと思います。 大きな瞳とふわふわの髪がとても愛らしいです。
Assistant: 私には個人的な好みや感情はありませんが、キュゥべえをかわいいと思う理由は理解できます。 彼は魅力的な外見をしており、主人公の指導者としての役割が彼の好感度を高めています。
User: そうですね、キュゥべえは確かにかわいいキャラクターです。 でも、まどかの無邪気で純粋なところも大好きです。 彼女は小さな天使のようです。
アシスタント：はい、まどかはとても愛らしいキャラクターです。 彼女の無邪気さと純粋さは、彼女を親しみやすく好感の持てるキャラクターにしており、シリーズ全体にわたる彼女の旅は両方の心を揺さぶります

【PDFダウンロード版】OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門 - ボーンデジタルオンラインブックストア