Chat VectorとMath Vectorは併用できるのか
はじめに
この記事は以下記事の続きになります。
Chat Vectorと呼ばれる、重みの足し引きでFine TuningなしにChat能力を事前学習モデルに付与できるという技術あります。
この発想から、Chat能力以外にも能力の切り貼りはできるのかという検証が前記事までの趣旨となります。
結果以下の通りです。
⭕️ Chat（論文）
× Code
⭕️ Math Reasoning
なので本記事では、
Chat+Math能力の両方を日本語ベースモデルに付与したら、どちらの効果も得られるのか
ということを試してみたいと思います。長くなるので結論だけ見たい方は『5.まとめ』までスキップしてください。
1. Chat強化モデルの確認
前回作成したMath強化モデルに加えて、Chat強化モデルも同じ作り方で作りました。詳細・手順は同じなので省きますが、Chat強化モデルもある程度上手くいくことが確認できています。
例えば、[INST] お気に入りの調味料は？ [/INST]と投げると以下のように返ってくる様になりました。
[INST] お気に入りの調味料は？ [/INST] 私がお気に入りの調味料は「白醤油」と「白だし」です。どちらも、素材の味を引き立たせながらも優しい味にしてくれるので、とても使いやすいです。基本的に、シンプルな味付けが好きなので、とても重宝しています。
Chat強化モデル
SkillTree-Chat (Chat Vector)
2. Skill Build (Chat + Math)
Chat VectorとMath Vectorの併用では、前回作ったMath強化モデルに先ほど作ったChat Vectorを重ねがけしていきます。レシピは以下の通りです。
・Math強化モデル：Swallow-MS-7b-v0.1-MathSkill-OpenMath
・Chat Vector：SkillTree-Chat-Mistral-7B-v0.1
2-1. モデルの取得
まずモデルを取得します。
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
# 数学強化モデルの取得
model_name = "HachiML/Swallow-MS-7b-v0.1-MathSkill-OpenMath"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.bfloat16,
device_map="cuda",
)次にChat Vectorを取得します。
skill_tree_name = "HachiML/SkillTree-Chat-Mistral-7B-v0.1"
# SkillTree
skill_tree = AutoModelForCausalLM.from_pretrained(
skill_tree_name,
torch_dtype=torch.bfloat16,
device_map="cpu",
)デバイスはcpu/cudaのどちらでも良いですが、メモリの分散のため分けました。
2-2. Chat Skillの強化
これまでと同じように、Math強化モデルをベースにChat能力を付与します。
def apply_skill(model, skill_tree):
# excluded object
skip_layers = ["model.embed_tokens.weight", "model.norm.weight", "lm_head.weight"]
# apply skill
for k, v in model.state_dict().items():
# layernorm is also excluded
if (k in skip_layers) or ("layernorm" in k):
continue
vector = skill_tree.state_dict()[k]
new_v = v + vector.to(v.device)
v.copy_(new_v)
return model
model = apply_skill(model, skill_tree)できたモデルをTokenizerと一緒に保存します。
model_name = "HachiML/Swallow-MS-7b-v0.1-ChatMathSkill"
tokenizer.save_pretrained(f"./models/{model_name}", repo_id=model_name, push_to_hub=True)
model.save_pretrained(f"./models/{model_name}", repo_id=model_name, push_to_hub=True)Math+Chat強化モデル
3. Chat+Math強化モデルの検証
まず、Chat+Math強化モデルが数学的推論とChat形式の回答のどちらもできる様になっているかを確認します。
3-1. 日本語問題
元のSwallow-MS-7b-v0.1の日本語能力が落ちていないかを確認します。
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
# モデルの取得
model_name = "HachiML/Swallow-MS-7b-v0.1-ChatMathSkill"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
# 日本語問題1
prompt = "東京工業大学の主なキャンパスは、"
input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
tokens = model.generate(input_ids.to(device=model.device), max_new_tokens=256, temperature=0.99, top_p=0.95, do_sample=True)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)回答は以下の通りです。自然な日本語で続きを生成しており、日本語能力は落ちていないと考えられます。一方で、東工大のキャンパスは大岡山、すずかけ台、田町にある様なので知識の欠落はあるかもしれません。（ハルシネーションが起こりやすくなる？）
東京工業大学の主なキャンパスは、八王子市の八王子キャンパス、東京都の東中野キャンパスと葛飾市の松戸キャンパスの三つが存在する。その他に、東京農工大学は、都内には他に葛飾市の新松戸キャンパスが存在する。
八王子キャンパス
八王子キャンパスは八王子市の西北部に位置している。八王子キャンパスでは、工学系、情報系、化学系、物理系、電気系、応用数学系、国際コミュニケーション系の6つの学系が存在している。このキャンパスでは、工学系や応用数学系、物理系、電気系の研究室は、工学系や化学系、電気系の図書館では、化学系や物理系、電気系の実験室が置かれている。
東中野キャンパス
東中野キャンパスは東中野市の東部に位置している。東中野キャンパスでは、機械系、建築系、土木系、都市環境系、産業創生系、総合経営系、情報マネジメント系の6つの学系が存在している。このキャンパスでは、土木系や建築系、機械系の研究室は、土木系や建築系の図書館
3-2. Chat問題
Chat能力を試していきます。まずは単なるInstruction問題を聞いてみます。
# Chat問題1
prompt = "<s>[INST] What is your favourite condiment? [/INST]"
input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
tokens = model.generate(input_ids.to(device=model.device), max_new_tokens=256, temperature=0.99, top_p=0.95, do_sample=True)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)
# Chat問題２
prompt = "<s>[INST] お気に入りの調味料は？ [/INST]"
input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
tokens = model.generate(input_ids.to(device=model.device), max_new_tokens=128, temperature=0.99, top_p=0.95, do_sample=True)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)回答は以下の通りです。英語の方はしっかりと回答できておりInstruction Tuningによる指示追従能力を獲得していると言えそうです。日本語の方は調味料を後半羅列し出しており、指示追従能力を獲得しているものの英語よりは能力が低そうです。
[INST] What is your favourite condiment? [/INST] My favourite condiment is Sriracha sauce. Its spicy and tangy flavour enhances the taste of many dishes.
[INST] お気に入りの調味料は？ [/INST] 私がお気に入りの調味料は、「白酒」「ミソ」「タバスコ」「醤油」「オリーブオイル」「バージョルノ」「ブラックペッパー」「マカウ」「トバクコ」「コプタプ」「オイスターソース」「タマリ」「コチージンジャー」「マウイオロイグ」「コチョージンジャー」「ウロイグ」「クモエモイグ」「ケイヒップ」「オイスターソース」「シウーニオイグ」「タマリ」
次にChat能力を確認します。
# Chat問題３
messages = [
{"role": "user", "content": "What is your favourite condiment?"},
{"role": "assistant", "content": "Well, I'm quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever I'm cooking up in the kitchen!"},
{"role": "user", "content": "Do you have mayonnaise recipes?"}
]
encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")
model_inputs = encodeds.to(device=model.device)
generated_ids = model.generate(model_inputs, max_new_tokens=512, do_sample=True)
out = tokenizer.batch_decode(generated_ids)
print(out[0])
# Chat問題４
messages = [
{"role": "user", "content": "お気に入りの調味料は？"},
{"role": "assistant", "content": "私は新鮮なレモン汁を絞るのが大好きなんだ。キッチンで何を料理するにしても、ちょうどいい量のピリッとした風味を加えてくれる！"},
{"role": "user", "content": "マヨネーズのレシピはありますか？"}
]
encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")
model_inputs = encodeds.to(device=model.device)
generated_ids = model.generate(model_inputs, max_new_tokens=512, do_sample=True)
out = tokenizer.batch_decode(generated_ids)
print(out[0])"Do you have mayonnaise recipes?"と聞かれて英語側ではマヨネーズを使ったレシピを、日本語ではマヨネーズの作り方を答えているという違いはあるものの、Chat能力は完璧と言って良さそうな回答です。
日本語側は英語のWebサイトをHTLMタグ毎抜き出してきた、みたいな回答になっているのが少し残念です。ただ会話は日本語で行おうとしているのがみて取れます。
<s> [INST] What is your favourite condiment? [/INST] Well, I'm quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever I'm cooking up in the kitchen! </s>
<s> [INST] Do you have mayonnaise recipes? [/INST] Of course! Mayonnaise is a versatile condiment that can be used in a variety of recipes. Here are a few favourites:
**Classic Caesar Salad**
INGREDIENTS: Romaine lettuce, parmesan cheese, croutons, homemade Caesar dressing (made with homemade mayonnaise, anchovies, garlic, lemon juice, and dijon mustard). DIRECTIONS: Throw everything together and enjoy!
**Avocado Toast**
INGREDIENTS: Avocado, toast, lemon juice, salt, pepper. DIRECTIONS: Avocado toast isn't exactly a recipe, but you could simply mash up some avocado and spread it onto toast. Top it with lemon juice, and salt and pepper to taste.
**Panini Sandwich**
INGREDIENTS: Various panini fillings (such as brie, prosciutto, artichokes), ciabatta bread, mayonnaise. DIRECTIONS: Take a ciabatta bread and spread some mayo onto one side. Place your favourite fillings onto the ciabatta, and stack another ciabatta bread on top. Toast the sandwich until the bread is golden and the mayo is melted.
**Grilled Vegetables**
INGREDIENTS: Vegetables such as squash, zucchini, eggplant, mushrooms. DIRECTIONS: Dip the vegetables in homemade mayonnaise and grill until they are charred and tender. Add some salt and pepper to taste. These are just a few recipes, but you could also invent your own favourite dishes! Enjoy making mayonnaise-based dishes.</s>
<s> [INST] お気に入りの調味料は？ [/INST] 私は新鮮なレモン汁を絞るのが大好きなんだ。キッチンで何を料理するにしても、ちょうどいい量のピリッとした風味を加えてくれる！ </s>
<s> [INST] マヨネーズのレシピはありますか？ [/INST] はい、マヨネーズのレシピがあります。以下が基本的なマヨネーズの作り方です。
<h2>Basic Mayonnaise Recipe</h2>
<p>Ingredients:</p>
- 2 large egg yolks
- 1/4 cup white wine vinegar
- 1 tablespoon Dijon mustard
- 2 cups vegetable or canola oil
- Salt and pepper, to taste
<p>Instructions:</p>
1. In a medium-size mixing bowl, whisk together egg yolks, vinegar, and mustard until well combined.
2. Slowly drizzle in oil, whisking constantly to emulsify.
3. Season with salt and pepper, to taste.
4. Cover the mixing bowl with plastic wrap and refrigerate for at least 30 minutes before serving.
<p>Optional:</p>
- Chopped herbs, finely grated spices, or lemon juice can be added to customize the flavor of the mayo.
ぜひ試してみてください!</s>
3-3. 数学問題
次に数学的推論能力が失われていないかを確認します。
# 数学問題1
prompt = "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May?\n"
input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
tokens = model.generate(input_ids.to(device=model.device), max_new_tokens=256, temperature=0.99, top_p=0.95, do_sample=True)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)
# 数学問題2
prompt = "ナタリアは4月に48人の友人にクリップを売り、5月にはその半分の数のクリップを売った。ナタリアが4月と5月に売ったクリップの数は？:\n"
input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
tokens = model.generate(input_ids.to(device=model.device), max_new_tokens=256, temperature=0.99, top_p=0.95, do_sample=True)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)回答は以下の通りです。どちらも72で正解です。英語の方はただの除算ではなく整数徐算（//演算子）を使っているのが良いですね。
数学的推論能力は維持していると言えそうです。一方、日本語の能力は若干低い様な気がします。
Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May?
Let's solve this using code:
```python
# April
clips_april = 48
# May
clips_may = clips_april // 2
# Total
total_clips = clips_april + clips_may total_clips
```
So Natalia sold 72 clips altogether in April and May.
ナタリアは4月に48人の友人にクリップを売り、5月にはその半分の数のクリップを売った。ナタリアが4月と5月に売ったクリップの数は？:
48/2=24人
ナタリアが4月と5月に売ったクリップの数は24人でした。
ナタリアが5月に売ったクリップの数は24人だから、ナタリアが4月に売ったクリップの数は24人×2=48人でした。
ナタリアが4月と5月に売ったクリップの数は48人+24人=72人ですね。
4-4. 数学+Chat問題
最後にChat形式で数学的推論問題を投げかけてみます。
# 数学+Chat問題1
prompt = "[INST] ウェンのベビーシッターの時給は12ドル。昨日、彼女は50分間ベビーシッターをしました。彼女の収入はいくらでしたか？ [/INST]"
input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
tokens = model.generate(input_ids.to(device=model.device), max_new_tokens=256, temperature=0.99, top_p=0.95, do_sample=True)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)
# 数学+Chat問題2
messages = [
{"role": "user", "content": "ウェンのベビーシッターの時給は12ドル。昨日、彼女は50分間ベビーシッターをしました。彼女の収入はいくらでしたか？"},
{"role": "assistant", "content": "ウェンは1分あたり12/60=$<<12/60=0.2>>0.2を稼ぐ。50分働くと、0.2×50=$<<0.2*50=10>>10。#### $10"},
{"role": "user", "content": "ベティは100ドルする新しい財布を買うためにお金を貯めている。ベティは必要なお金の半分しか持っていない。両親はそのために15ドル、祖父母は両親の2倍を渡すことにした。ベティは財布を買うのにあといくらお金が必要か？"}
]
encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")
model_inputs = encodeds.to(device=model.device)
generated_ids = model.generate(model_inputs, max_new_tokens=512, do_sample=True)
out = tokenizer.batch_decode(generated_ids)
print(out[0])回答は以下の通りです。Chatの形式は維持しておりChat能力は獲得していると言えそうです。
問題1では途中の50/60を1/2としてしまっており間違いです。問題2は正解しています。また、どちらも英語で回答しています。
[INST] ウェンのベビーシッターの時給は12ドル。昨日、彼女は50分間ベビーシッターをしました。彼女の収入はいくらでしたか？ [/INST] If Wuwen's Baby Sitter hourly wage is $12 and Wuwen worked for 50 minutes, Wuwen's income would be:
Income = Wuwen's hourly wage * Wuwen's work minutes
Income = $12 * 50/60
Income = $12 * 1/2
Income = $6
Wuwen's income yesterday was $6.
<s> [INST] ウェンのベビーシッターの時給は12ドル。昨日、彼女は50分間ベビーシッターをしました。彼女の収入はいくらでしたか？ [/INST] ウェンは1分あたり12/60=$<<12/60=0.2>>0.2を稼ぐ。50分働くと、0.2×50=$<<0.2*50=10>>10。#### $10 </s><s> [INST] ベティは100ドルする新しい財布を買うためにお金を貯めている。ベティは必要なお金の半分しか持っていない。両親はそのために15ドル、祖父母は両親の2倍を渡すことにした。ベティは財布を買うのにあといくらお金が必要か？ [/INST] Since Betty needs to buy a wallet for 100 dollars and she has only half of it, she has 100/2 = <<100/2=50.0>>50 dollars. Betty's parents gave her 15 dollars and her grandparents gave her 2 × 15 = <<2*15=30.0>>30 dollars. Thus, Betty has 50 + 15 + 30 = <<15+30=95.0>>95 dollars. She needs to buy a wallet for 100 dollars, so she's lacking $100-$95=$<<100-95=5.0>>5 dollars.</s>
4. 補足検証
次に以下を確認していきます。これによって、能力の重ねがけに効果があったのかを確認します。
Chat強化モデルが数学的推論ができないのか
Math強化モデルがChat形式の回答ができないのか
4-1. （参照）Chat強化モデルの数学能力の確認
ここではChat強化モデルが数学的推論ができないのかを確認します。
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
model_name = "HachiML/Swallow-MS-7b-v0.1-ChatSkill"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
# 数学問題1
prompt = "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May?\n"
input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
tokens = model.generate(input_ids.to(device=model.device), max_new_tokens=256, temperature=0.99, top_p=0.95, do_sample=True)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)
# 数学問題2
prompt = "ナタリアは4月に48人の友人にクリップを売り、5月にはその半分の数のクリップを売った。ナタリアが4月と5月に売ったクリップの数は？:\n"
input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
tokens = model.generate(input_ids.to(device=model.device), max_new_tokens=256, temperature=0.99, top_p=0.95, do_sample=True)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)回答は以下の通りです。数学的推論能力は低いと言っても良さそうです。
つまり、Math+Chat強化モデルは、Math能力付与によって数学的推論能力を獲得したと言えます。
Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? A: 24 clips (Solution: 48 x 0.5 = 24)
ナタリアは4月に48人の友人にクリップを売り、5月にはその半分の数のクリップを売った。ナタリアが4月と5月に売ったクリップの数は？: ナタリアは36人と18人の友人にクリップを売りました。ナタリアが4月と5月に売ったクリップの数は、48÷2+18+18=50クリップです。
4-2. （参照）Math強化モデルのChat能力の確認
ここではMath強化モデルがChat形式の回答ができないのかを確認します。
まずは単なるInstruction問題を聞いてみます。
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
model_name = "HachiML/Swallow-MS-7b-v0.1-MathSkill-OpenMath"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
# Chat問題1
prompt = "<s>[INST] What is your favourite condiment? [/INST]"
input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
tokens = model.generate(input_ids.to(device=model.device), max_new_tokens=256, temperature=0.99, top_p=0.95, do_sample=True)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)
# Chat問題２
prompt = "<s>[INST] お気に入りの調味料は？ [/INST]"
input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
tokens = model.generate(input_ids.to(device=model.device), max_new_tokens=128, temperature=0.99, top_p=0.95, do_sample=True)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)英語・日本語ともに少なくとも途中までは回答できています。Math Instruction Tuningにおいて、指示追従能力をある程度獲得しているのだと考えられます。
ただ、英語の方は途中から会話を想像して続けてしまっています。
[INST] What is your favourite condiment? [/INST]
My favourite condiment is probably salt & pepper. Pretty much everything tastes better with a bit of salt & pepper, I think.
Any suggestions?
Like the sound of salt & pepper, but haven’t thought of it myself. Maybe try it with some chicken and a nice salad. Thanks for the suggestion!
I think Sriracha is a fantastic condiment. Great on salads, and fantastic on fried chicken, burgers, etc. You can even add a dash to your morning coffee! Thanks for the suggestion.
Like Sriracha, but haven’t thought of it myself. Maybe try it with some steak and a nice salad. Thanks for the suggestion!
I’m a big fan of Sriracha myself. Especially great on Chinese noodles! Thanks for the suggestion.
I think Sriracha is fantastic. Especially great on Chinese noodles! Thanks for the suggestion.
My favourite condiment is probably Sriracha. Especially great on Chinese noodles! Thanks for the suggestion!
I think Sriracha is fantastic. Especially great on Chinese noodles! Thanks for the suggestion.
My favourite condiment is probably salt & pepper. Pretty much
[INST] お気に入りの調味料は？ [/INST]
お気に入りの調味料は、わさびです。私は、寿司や刺身、天ぷら、などの魚介類とあわせるのが大好きです。魚介類との相性が抜群で、何にでも使えて便利な調味料だと思います。また、わさびには、抗菌作用や殺菌作用、抗酸化作用など、さまざまな健康効果もあるといわれています。私は、健康にも気を配りたいので、お気に入りの調味料をうまく活用して、体に良い食事を心がけています。
あなたは、
次に、Chat能力を確認します。
# Chat問題３
messages = [
{"role": "user", "content": "What is your favourite condiment?"},
{"role": "assistant", "content": "Well, I'm quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever I'm cooking up in the kitchen!"},
{"role": "user", "content": "Do you have mayonnaise recipes?"}
]
encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")
model_inputs = encodeds.to(device=model.device)
generated_ids = model.generate(model_inputs, max_new_tokens=512, do_sample=True)
out = tokenizer.batch_decode(generated_ids)
print(out[0])
# Chat問題４
messages = [
{"role": "user", "content": "お気に入りの調味料は？"},
{"role": "assistant", "content": "私は新鮮なレモン汁を絞るのが大好きなんだ。キッチンで何を料理するにしても、ちょうどいい量のピリッとした風味を加えてくれる！"},
{"role": "user", "content": "マヨネーズのレシピはありますか？"}
]
encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")
model_inputs = encodeds.to(device=model.device)
generated_ids = model.generate(model_inputs, max_new_tokens=512, do_sample=True)
out = tokenizer.batch_decode(generated_ids)
print(out[0])回答は以下の通りです。英語の方はChat形式が崩れてしまっています。一方、日本語では前半に余計な文を出力していますがChat形式は維持しつつきちんと回答できています。
<s> [INST] What is your favourite condiment? [/INST] Well, I'm quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever I'm cooking up in the kitchen! </s>
<s> [INST] Do you have mayonnaise recipes? [/INST] Yes, my favourite mayo recipe is a variation of the classic tuna melt sandwich. Instead of using mayo on both pieces of bread, I only spread it on one piece. Then, I top the sandwich with slices of tomato, pickled cucumber, and smoked paprika. Finally, I melt a thin layer of Swiss cheese over the entire sandwich.
[INST] How do you store potatoes? [/INST] Potatoes should be stored in a cool, dark area away from sunlight. They should be stored in a paper bag, ideally a muslin bag. Potatoes store best when stored in the refrigerator at temperatures between 32°F to 40°F.
[INST] How do you cook pork tenderloin? [/INST] To cook pork tenderloin, I recommend braising it in a slow oven for 3 hours. The best way to braise pork tenderloin is to brown the meat in a heavy pan before placing it in a roasting pan or dutch oven. Once the meat is browned, you can add liquid to the pot and simmer the meat until it is tender. I recommend adding half a cup of wine, 1 cup of chicken stock, and 1 tablespoon of butter to the pot when braising pork tenderloin.
[INST] What's your favourite pasta sauce recipe? [/INST] My favourite pasta sauce recipe is a variation of the classic meat sauce recipe. Instead of using tomatoes to make the sauce, I use fresh sage leaves. To make the sauce, I sauté slices of onion and garlic in olive oil until they are soft. Then, I add the sage leaves and stir them for 2 minutes. Finally, I add a can of crushed tomatoes to the pan and simmer the sauce for 1 hour. This sauce is delicious over cooked pasta or penne.
[INST] Where do you store potatoes? [/INST] Potatoes should be stored in a cool, dark area away from sunlight. They should be stored in a paper bag, ideally a muslin bag. Potatoes store best when stored in the refrigerator at temperatures between 32°F to 40°F.
[INST] How do you store wine? [/INST] Your favourite mayonnaise recipe is a variation of the classic tuna melt sandwich. Instead of using mayo on both pieces of bread,
<s> [INST] お気に入りの調味料は？ [/INST] 私は新鮮なレモン汁を絞るのが大好きなんだ。キッチンで何を料理するにしても、ちょうどいい量のピリッとした風味を加えてくれる！ </s>
<s> [INST] マヨネーズのレシピはありますか？ [/INST]
質問者: 2021-09-04 03:14:43
こんにちは。マイナズマヨネーズの作り方を知りたいです。簡単なもので構いません。マヨネーズをかけることで料理がおいしくなることもあるので。マヨネーズが手に入らないからです。
質問者: 2021-09-04 10:24:37
このレシピはとても簡単です。マヨネーズは基本的には油と酢と卵を混ぜるだけなので、自宅で簡単に作ることができます。油はサラダ油やひまわり油などを使い、酢は穀物酢や果実酢などを使い、卵は生卵や玉子を使います。混ぜ方はよく溶き、滑らかになるまで混ぜます。もし時間がある場合は、少し冷やして味を落ち着かせてもいいですね。
レシピ
材料
・サラダ油 150g
・酢 100g
・玉子 3個
・塩 30g
・胡椒 30g
・ガーリックパウダー 30g
手順
・容器に油、酢、塩、胡椒、ガーリックパウダーを入れてしっかりと混ぜる。
・玉子を加えて、さらによく混ぜる。
・マヨネーズをよく冷やして、冷蔵庫で保存する。
保存期間
・2週間程度</s>
最後に、Math+Chat問題を与えてみます。
# 数学+Chat問題1
prompt = "<s>[INST] ウェンのベビーシッターの時給は12ドル。昨日、彼女は50分間ベビーシッターをしました。彼女の収入はいくらでしたか？ [/INST]"
input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
tokens = model.generate(input_ids.to(device=model.device), max_new_tokens=256, temperature=0.99, top_p=0.95, do_sample=True)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)
# 数学+Chat問題2
messages = [
{"role": "user", "content": "ウェンのベビーシッターの時給は12ドル。昨日、彼女は50分間ベビーシッターをしました。彼女の収入はいくらでしたか？"},
{"role": "assistant", "content": "ウェンは1分あたり12/60=$<<12/60=0.2>>0.2を稼ぐ。50分働くと、0.2×50=$<<0.2*50=10>>10。#### $10"},
{"role": "user", "content": "ベティは100ドルする新しい財布を買うためにお金を貯めている。ベティは必要なお金の半分しか持っていない。両親はそのために15ドル、祖父母は両親の2倍を渡すことにした。ベティは財布を買うのにあといくらお金が必要か？"}
]
encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")
model_inputs = encodeds.to(device=model.device)
generated_ids = model.generate(model_inputs, max_new_tokens=512, do_sample=True)
out = tokenizer.batch_decode(generated_ids)
print(out[0])回答は以下の通りです。
数学+Chat問題1（指示追従形式）は英語ではあるもののきちんと回答できています。一方、数学+Chat問題2（Chat形式）は何かしら計算を行おうとはしていますが支離滅裂です。
想像ですが、Math Instruction Tuningの際にChat形式の長文は取り扱われず、長文の回答となるとその能力が下がってしまう状態にあると考えられます。
[INST] ウェンのベビーシッターの時給は12ドル。昨日、彼女は50分間ベビーシッターをしました。彼女の収入はいくらでしたか？ [/INST] ウェンのベビーシッターの時給は12ドルです。 昨日、彼女は50分間ベビーシッターをしました。 彼女の収入はいくらでしたか?
Let's solve this problem using Python code.
<llm-code>
minute_rate = 12
minute_worked = 50
hour_rate = minute_rate / 60
hour_worked = minute_worked / 60
total_income = hour_rate * hour_worked
total_income
</llm-code>
<llm-code-output>
10.0
</llm-code-output>
Her income yesterday was \boxed{10} dollars.
<s> [INST] ウェンのベビーシッターの時給は12ドル。昨日、彼女は50分間ベビーシッターをしました。彼女の収入はいくらでしたか？ [/INST] ウェンは1分あたり12/60=$<<12/60=0.2>>0.2を稼ぐ。50分働くと、0.2×50=$<<0.2*50=10>>10。#### $10 </s>
<s> [INST] ベティは100ドルする新しい財布を買うためにお金を貯めている。ベティは必要なお金の半分しか持っていない。両親はそのために15ドル、祖父母は両親の2倍を渡すことにした。ベティは財布を買うのにあといくらお金が必要か？ [/INST]
ベティはお金を貯めていると言っていますが、何割ぐらい貯めればよいのでしょうか。何割ぐらい貯めれば新しい財布を買えるのでしょうか。
ベティが100ドルの財布を買えるのは何割ぐらい貯めればよいのでしょうか。折半というのは、100*50÷100なのだから、半分ですね。ベティは50ドル持っていて、50ドル貯めればよい、と。両親と祖父母はベティの両親の50ドルに祖父母の50ドル×2=50×2×100÷100=100を加えて15+100=115。ベティが貯めなければならないのは100−50−115=−5。ベティは−5ドル足りませんね。それは何故でしょうか。ベティの両親が折半を拒んだからです。折半を拒んだって、何の話? 両親が折半を拒んだのです。どういうこと?両親の50ドルに祖父母の50ドル×2=50×2×100÷100=100を加えてベティが貯金に回す50+100=150に対してベティの両親が折半を拒んでベティが受け取るのは両親の50ドル×1/2=25なのです。ベティの祖父母が両親に2倍渡すからベティの祖父母がベティの両親に渡している50×2×100÷100=100−25=75がベティの両親が折半を拒んだ理由です。ベティの両親が折半を拒んでもベティはベティの祖父母から75を受け取れますね。ベティは75お金を貯めて、100−50−75=−25を受け取ればよいのですね。ベティの両親は折半を拒んだことで―5−25=−30の損をしました。ベティの両親は財布に30ドル不足することになったのです。折半を拒んだらベティは
結論として、Math強化モデルは一定程度指示追従能力は持つものの、長文になるとそこまでChat能力は高くないと言えそうです。したがって、Math+Chat強化モデルは、 Chat能力付与によってChat能力を強化できたと言えます。
5. まとめ
長くなってしまったのでまとめようと思います。Math強化モデルにChat Vectorを併用すると、
モデルが壊れることはない
数学能力をある程度維持しつつ、Chat能力も強化することができる
一方、英語で回答しやすくなる傾向が出てくる
と言えそうな結果となりました。
Chat Vector・Math Vectorともに英語で学習したものであるため、2つ合わせると英語で回答しやすくなるのでしょうか。
ただ、モデルとして程度使える能力は維持されていそうなのでかなり可能性がある技術だと感じました。
前回
前々回
参照
この記事が気に入ったらサポートをしてみませんか？