Mistral-7Bを日本語で試す

2023年9月28日 17:34

フランスのスタートアップが公開したMistral-7Bが、Llama2 13B超えだと言うので日本語で試してみました。

試す前の注意事項としては、transformersがpipにない超最新版じゃないと動かない。

$ pip install git+https://github.com/huggingface/transformers.git

そんで試す。
ちなみに今アメリカにいるのだが、ngrok使うと自宅にあるドスパラ製Memeplexマシンに直接アクセスできるので死ぬほど便利である。これでもう日本に帰る必要がなくなった。

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # the device to load the model onto

model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-Instruct-v0.1")
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.1")

text = "<s>[INST] 何ができるの?[/INST]日本についてのことはなんでも聞いてください</s> [INST] 大阪で有名なのは? [/INST]"

encodeds = tokenizer(text, return_tensors="pt", add_special_tokens=False)

model_inputs = encodeds.to(device)
model.to(device)

generated_ids = model.generate(**model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

大阪について聞くと以下のような答えが返って来た。

>>> print(decoded[0])
<s>[INST] 何ができるの?[/INST]日本についてのことはなんでも聞いてください</s> [INST] 大阪で有名なのは? [/INST] 大阪は日本内で大きい都市です。ここでは有名な人や事例につりませんが、以下は大阪で有名な場所や施設について詳しく詳しいデータはありませんがあります。

1. Osaka Castle: 大阩城。大阩castleは 1598 年、大阩の主持家トヨドルミュラクィヨスが建築しました。今はアトレクションとして大量の人々が来ませんが、大半のビルトトップが消動しています。
2. Universal Studios Japan: ユニバーザルステージジャパン。ユニバーザルステージジャパンは2001年9月28日を基準とした上記の日本で唯一のユニバーザルパークです。パークは大阩からも迅速にアクセスしてきます。
3. Osaka Aquarium Kaiyukan: 西京aquarium. 大阩aquariumは世界上最大なアクアリウムです。アクアリウムでは世界の上記の80%以上の疏散類の魚がおかずれいます。
4. Tsurugaoka Tenmangu: 大阩天魔宮. 大阩天魔宮は大阩の居住地のコミュニティの中心としています。コミュニティの中心としているため、大阩の紹介とつなむ機会があります。
5. Osaka's Busy Commercial Street: 大阩の商業街. 大阩の商業街は世界的に知名なストレートです。ストレートはおよび食べ物を特別な形にしています。
6. Osaka's Shrine: 大阩の神社. 大阩の神社は大阩の居住地のコミュニティの中心としています。コミュニティの中心としているため、大阩の紹介とつなむ機会があります。
7. Osaka's Parks: 大阩の公園. 大阩は大量の公園があります。一部では野生の動物が生活します。
8. Osaka's Harbor: 大阩の港. 大阩は大量の船が入れる港です。 Harborは大阩の商業街どこぞから簡単にアクセスしてきます.

次のは大阩で最も有名な人たちを示します。

1. Osaka's Sports Stars: 大阩のスポーツスタールールズ(大阩のスポーツスタールールズ)。大阩は世界の中心位置からも認られています。経驗はあるけど、新しい生命でも一応の成長できています。大阩は大量のスポーツスタールルーズが生きています。
2. Osaka's Entertainment Stars: 大阩のエンタテイメントスタールールズ(大阩のエンタテイメントスタールルールズ)。大阩は大量のエンタテイメントスタールルールズが生きています。</s>

大阪の阪の字が変だが、Llama2も日本語は苦手なので、Llama2よりマシなのかもしれない。トヨドルミュラクィヨスって豊臣秀吉のことか?

東京についても聞いてみる

>>> print(decoded[0])
<s>[INST] 何ができるの?[/INST]日本についてのことはなんでも聞いてください</s><s> [INST] 東京の見どころは? [/INST] 東京は日本の大都城です。その場所には、私たちが日本で一時的に生活できるための、観取の目的によってより多い場所ですが、いくつかでも知られません。 このましては、東京の見どころを紹介していきます。

1. 東京スクリューブのスペースラミーン：東京スクリューブは、ラミーンストアの集め体で、ラミーンが好きな人たちにとって、おもなつもうとの地方です。アンクトアーを除く、東京スクリューブではすべてラミーンストアがあります。
2. 東京スクリューブのアンクトアー：アンクトアーは、東京スクリューブの中心点のスクリューブの一部です。アンクトアーはアンクトウツクランやアンクトアープラインストアも含むフレンドリーな店場です。ラミーンもお好きだと思われますが、アンクトアーでも大項目らでも知られません。
3. 東京スクリューブのエムプルセ：エンプルセは、ラミーンストアのエンプルサールです。エンプルサールやエンプルセラーは、ラミーンを買つのはめでととえば上手に調達されたラミーンの買いつのがいいと思われます。
4. 東京スクリューブのメッセージーンバルプロトクリスト：メッセージーンバルプロトクリストは、ラミーンストアの中で消されているラミーンのためによる糟滅の評価された栅栏の陣列です。ラミーンを買うと、メッセージーンバルプロトクリストと同じ環境を作れるだと思われますが、メッセージーンバルプロトクリストはスキーアルプレミアムのラミーンストアにも存在します。
5. 東京スクリューブのスキーアルプレミアム：スキーアルプレミアムのラミーンストアには、メッセージーンバルプロトクリストがどうして作られるかを見直すことがおでしょう。最高のラミーンの質量ならを思われますが、そういうラミーンの質量と同じラミーンを買うと、スキーアルプレミアムのラミーンストアからないにとは思われません。</s>
>>>

なんとなくフランス語の概念「都市(cite)」と「城(chateau)」がごっちゃになっているようで面白い。

しかしもう「ただ性能がいいだけ」のLLMには飽きて来たなあ。いい加減