無料でGPT4越え!?ついに来たXwin-LM

2023年9月22日 14:26

今日のウィークリーAIニュースではnpaka大先生と一週間のニュースを振り返った。今週もいろいろあったが、なんといってもダークフォース、GPT-4越えと言われるXwin-LMである。中国製。

大先生もまだ試してないというので番組内で一緒に試してみた。
もちろんドスパラ製Memeplexマシン(A6000x2)を使用。

>>> from transformers import AutoTokenizer, AutoModelForCausalLM
>>> model = AutoModelForCausalLM.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
Downloading (…)lve/main/config.json: 100%|██████████████████| 626/626 [00:00<00:00, 56.2kB/s]
[2023-09-21 08:50:54,188] [INFO] [real_accelerator.py:110:get_accelerator] Setting ds_accelerator to cuda (auto detect)
Downloading (…)model.bin.index.json: 100%|██████████████| 26.8k/26.8k [00:00<00:00, 4.30MB/s]
Downloading (…)l-00001-of-00003.bin: 100%|███████████████| 9.88G/9.88G [01:25<00:00, 115MB/s]
Downloading (…)l-00002-of-00003.bin: 100%|███████████████| 9.89G/9.89G [01:26<00:00, 115MB/s]
Downloading (…)l-00003-of-00003.bin: 100%|███████████████| 7.18G/7.18G [01:03<00:00, 113MB/s]
Downloading shards: 100%|██████████████████████████████████████| 3/3 [03:56<00:00, 78.84s/it]
Loading checkpoint shards: 100%|███████████████████████████████| 3/3 [00:13<00:00,  4.35s/it]
Downloading (…)neration_config.json: 100%|██████████████████| 183/183 [00:00<00:00, 37.5kB/s]
>>> tokenizer = AutoTokenizer.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
>>> model=model.half().to("cuda")
>>> import torch
>>> (
     prompt := "A chat between a curious user and an artificial intelligence assistant. "
             "The assistant gives helpful, detailed, and polite answers to the user's questions. "
             "USER: <prompt> "
             "ASSISTANT:"
)

from transformers import AutoModelForCausalLM, AutoTokenizer,TextIteratorStreamer
from threading import Thread
def q(text):
    streamer = TextIteratorStreamer(tokenizer, timeout=10., skip_prompt=True, skip_special_tokens=True)
    text = prompt.replace("<prompt>",text)
    with torch.no_grad():
        token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt")
        def generate(input):    
            output_ids=model.generate(input, streamer=streamer, 
                            pad_token_id=tokenizer.eos_token_id, max_length=4096, temperature=0.9, top_p=0.8,
                            eos_token_id=tokenizer.eos_token_id,
                            repetition_penalty=1.25)
        t = Thread(target=generate, args=(token_ids.to(model.device),))
        t.start()
    for new_text in streamer:
        print( new_text,end="")
>>> q("富士山の高さは?")
富士山の高さは、約3,776メートル（12,388フィート）です。これは、日本で最も高い山であり、世界でも有名な山の一つです。富士山は、特に日本の伝統的な美術や文化において、象徴的な意義を持っています。

すげえ!
初めてオープンソースのLLMで、富士山の説明を一発で正確にできている。

>>> q("大阪は、日本でも有数の")
繁栄した都市であり、多くの観光名所や文化があります。大阪は、日本の経済・産業・文化の中心地であり、特に近代以降、大阪は日本の産業化と都市化の中心地として発展しました。

大阪の主な特徴は以下の通りです。

1. 産業: 大阪は、古くから大規模な工業地帯であり、特に船building、鉄鋼、石油化学などの重工業が盛んです。また、情報技術（IT）や物流、商業などの軽工業も繁栄しています。
2. 文化: 大阪は、日本の伝統的な文化を築いた都市であり、特に織田信長が大阪城を築いたことから、城郭都市として知られています。また、大阪は日本の伝統的な料亭や庭園、織物、和紙などの産地でもあります。
3. 観光: 大阪は、日本の観光の中心地の一つであり、多くの観光名所があります。大阪城、天王寺、淀川河口域、なぎさの照明、大阪ミュージアムなどが有名です。また、大阪は、日本最大の商業地区である「大阪中央区」や、オリックス劇場などの文化施設が集積しています。
4. 交通: 大阪は、鉄道、バス、道路、航空などの交通機関が発達しており、日本全国との連携が良いです。また、近鉄などの私鉄も大阪を中心に路線が広がっています。
5. 学術: 大阪は、日本でも有数の学術的な中心地であり、大阪大学、大阪市立大学、関西外国語大学などの大学があります。また、私立大学も多く、さまざまな分野の研究が行われています。

このように、大阪は、日本の繁栄した都市であり、多くの観光名所や文化があります。
>>> q("広島にある世界遺産は、")
広島には、世界遺産（ユネスコの世界遺産リスト）に登録されている2件の文化遺産があります。

1. 広島平和記念公園
	* 登録年 : 1995年（第29回世界遺産委員会）
	* 登録基準 : (2) ある文化的伝統または芸術的表現のために広く認められた普遍的価値
	* 詳細 : 広島市内にある平和記念公園は、広島市への原子爆弾投下による被害を忘れず、平和を願う場として整備された公園です。公園内には、原爆投下時に殉職した者を追悼する碑、広島市による平和祈念事業の拠点である平和祈念会館、また被爆者の記録や展示物が展示されています。
2. 厳島神社
	* 登録年 : 2000年（第24回世界遺産委員会）
	* 登録基準 : (2) ある文化的伝統または芸術的表現のために広く認められた普遍的価値
	* 詳細 : 広島県三原市にある厳島神社は、日本の神社であり、創建は古く、約1600年の歴史を持っています。神社の主な所在地である厳島（倉橋島）は、島の形状から「巨大な船」という意味の「厳」という言葉に由来しており、神社の境内には、船の船体が刻まれた石灯籠や、船の絵柄が描かれた建物があります。

これらの世界遺産は、広島の歴史や文化を代表する遺産であり、観光地としても人気があります。
>>> q("宮崎駿の代表作は、")
宮崎駿（宮崎吾朗）は、日本のアニメーション監督、脚本家、キャラクターデザイナーであり、代表作は以下の通りです。

1. 「未来の王子様」（1969年）
2. 「アルプスの少女ハイジ」（1974年）
3. 「風の谷のナウシカ」（1984年）
4. 「キングダム・ハーツ」（1988年）
5. 「美女と野獣」（1991年）
6. 「魔法の城ラピュタ」（1986年）
7. 「天空の城ラピュタ」（1996年）
8. 「スタジオジブリ作品」（1984年 - 2013年）

これらの作品は、宮崎駿の独特のスタイルと視覚的な美しさで知られており、各国で高い評価を受けています。彼の作品は、子供から大人まで幅広い人気を持っています。
>>> q("宮崎駿作品の特徴は、")
宮崎駿作品は、広範囲にわたるが、一般的には以下の特徴が挙げられます。

1. ストーリーテリング: 宮崎駿の作品は、劇的なストーリーテリングが魅力です。彼の作品は、よく知られた伝説や神話、または哲学的なテーマを基にしています。
2. 美術: 宮崎駿は、独特の美術スタイルを持っています。彼の作品は、豊かな色彩と細部のデザイン、さらには幻想的な世界観が特徴です。
3. 音楽: 宮崎駿の作品には、豊かな音楽が含まれています。彼は、映画音楽の分野で高い評価を受けており、作品の雰囲気を大きく補完する役割を果たしています。
4. キャラクターデザイン: 宮崎駿のキャラクターデザインは、幾何学的でありながらも生命力があり、人間的であると同時に、神秘性を感じさせる特徴があります。
5. 感情表現: 宮崎駿の作品は、感情の変化や人間の心理を描写することに秀でています。彼の作品は、観客に感情移入を促すことができ、印象に残る映像作品となっています。
6. 独自の世界観: 宮崎駿の作品は、独自の世界観を持っています。それぞれの作品は、異なる時代や世界を舞台にしており、それぞれの世界観が魅力的です。
7. 環境保護意識: 宮崎駿は、環境保護意識が強い作家です。彼の作品には、自然環境の美しさや、人間と自然の共存を説く要素が見られます。

これらの特徴は、宮崎駿作品に共通した魅力を形成し、広く観客に親しまれています。
>>> q("樋口真嗣作品の特徴は、")
樋口真嗣の作品に共通して見られる特徴は以下の通りです。

1. グラフィックデザインの優れた作品: 樋口の作品は、効果的なグラフィックデザインと美しい画面構成が特徴です。彼は様々な技法と手法を駆使し、魅力的な表現を提供しています。
2. リアルな描写と感情表現: 樋口の作品では、登場人物の感情や心の状況がリアルに描かれています。彼は、読者の感情に共感できる描写を行い、物語の感動性を高めています。
3. 多様なテーマとストーリー: 樋口の作品は、幅広いテーマを取り扱っており、個別の作品によっても異なるストーリーや構成が見られます。これにより、読者は幅広いジャンルやテーマに触れることができます。
4. 深い探求心: 樋口の作品は、社会問題や人間の心理、存在の意味など、様々なテーマを探求しています。彼は、読者に対しても様々な視点や考察を提供し、考えることを促しています。
5. ユーモアとリラックス感のある作品: 樋口の作品には、ユーモアやリラックス感が含まれており、読者が楽しく読める作品が多いです。これにより、読者は物語の中で様々な感情を共有できます。
6. 独自の世界観と設定: 樋口の作品は、独自の世界観や設定を持っており、それぞれ異なる雰囲気を持っています。これにより、読者は各作品の世界に魅力を感じることができます。

これらの特徴を通じて、樋口真嗣の作品は幅広い読者層に楽しまれることができ、彼の才能が称えられています。
>>> q("宮崎駿について英語で説明しろ")
Miyazaki Hayao, better known as Miyazaki Hayao or simply Miyazaki, is a renowned Japanese animator, director, producer, and screenwriter. Born on January 5, 1941, in Bunkyō, Tokyo, Japan, Miyazaki is widely regarded as one of the most influential and acclaimed filmmakers in the history of animation. He is best known for his numerous animated feature films, which have been released by Studio Ghibli, a studio he co-founded in 1985.

Miyazaki's films are characterized by their stunning visuals, intricate storytelling, and deep exploration of themes such as nature, humanity, and the relationship between humans and technology. Many of his works have become international successes and have been translated into numerous languages, including English. Some of his most famous films include "Spirited Away" (2001), "Princess Mononoke" (1997), "Howl's Moving Castle" (2004), and "My Neighbor Totoro" (1988).

Miyazaki's animations often feature strong female protagonists, as well as themes of environmentalism, pacifism, and the importance of family and community. His works often challenge the traditional gender roles and stereotypes found in many animated films, and he has been praised for his commitment to creating stories that empower and inspire young people.

In addition to his work as an animator, Miyazaki is also known for his advocacy for environmental conservation and his opposition to nuclear power. He has been a vocal critic of the Japanese government's policies on nuclear energy and has used his platform to raise awareness about environmental issues.

Miyazaki's impact on the world of animation extends beyond his own films. He has inspired a new generation of animators and filmmakers, both in Japan and around the world, and his work has helped to popularize anime as a global phenomenon. His legacy continues to be felt in the animation industry, as filmmakers continue to be influenced by his unique style, themes, and storytelling techniques.

すごすぎる。
これは本当にGPT-4を超えてるかもしれない。ちなみにXwin-LMの開発者によると、一般的なベンチマークではこの7Bモデルは本当はGPT-4を超えていないが、70Bモデルは超えるとのこと。

7Bでこれだよ。これ。

英語の長文を日本語で要約できるかやってみる。

>>> q("""Miyazaki Hayao, better known as Miyazaki Hayao or simply Miyazaki, is a renowned Japanese animator, director, producer, and screenwriter. Born on January 5, 1941, in Bunkyō, Tokyo, Japan, Miyazaki is widely regarded as one of the most influential and acclaimed filmmakers in the history of animation. He is best known for his numerous animated feature films, which have been released by Studio Ghibli, a studio he co-founded in 1985.
... 
... Miyazaki's films are characterized by their stunning visuals, intricate storytelling, and deep exploration of themes such as nature, humanity, and the relationship between humans and technology. Many of his works have become international successes and have been translated into numerous languages, including English. Some of his most famous films include "Spirited Away" (2001), "Princess Mononoke" (1997), "Howl's Moving Castle" (2004), and "My Neighbor Totoro" (1988).
... 
... Miyazaki's animations often feature strong female protagonists, as well as themes of environmentalism, pacifism, and the importance of family and community. His works often challenge the traditional gender roles and stereotypes found in many animated films, and he has been praised for his commitment to creating stories that empower and inspire young people.
... 
... In addition to his work as an animator, Miyazaki is also known for his advocacy for environmental conservation and his opposition to nuclear power. He has been a vocal critic of the Japanese government's policies on nuclear energy and has used his platform to raise awareness about environmental issues.
... 
... Miyazaki's impact on the world of animation extends beyond his own films. He has inspired a new generation of animators and filmmakers, both in Japan and around the world, and his work has helped to popularize anime as a global phenomenon. His legacy continues to be felt in the animation industry, as filmmakers continue to be influenced by his unique style, themes, and storytelling techniques.以上の英文を日本語にしろ")
... """
... )
宮崎駿（みやざき はやお、1941年1月5日 - ）は、日本のアニメーター、監督、プロデューサー、脚本家である。日本のアニメーション映画の歴史上でも最も影響力があり、評価が高い作家の一人です。特にスタジオジブリ（スタジオジブリ）を設立した1985年に発表された数々のアニメ映画で知られています。

宮崎の映画は、美しいビジュアル、複雑なストーリーテリング、人間性、人類と技術の関係を深く探究する主題などが共通しています。彼の作品は国際的な成功を収め、複数の言語に翻訳されています。有名な作品に「千と千尋の神隠し」（2001年）、「もののけ坊主」（1997年）、「ハウルの動く城」（2004年）、「となりのトトロ」（1988年）などがあります。

宮崎のアニメは、強力な女性主人公や環境保護、平和主義、家族やコミュニティの重要性を探求する題材が特徴です。彼の作品は、多くのアニメーターや映画製作者に影響を与えており、日本だけでなく世界中でアニメの現象として人気があります。

宮崎の環境保護活動や核エネルギー政策への批判は、日本政府に対する批判としても受け止められています。彼は環境問題に関心を持ち、多くの人々に関心を持たせるために活動しています。

すごい

>>> q("エヴァンゲリオンについて20文字で説明しろ")
エヴァンゲリオンは、日本のアニメーション作品。神秘な少女たちが戦い、人類と神の秘密を解く壮絶な物語。
>>> q("エヴァンゲリオンについて200文字で説明しろ")
「エヴァンゲリオン」は、日本のアニメーション作品であり、1995年から1996年にかけて放送された。略称は「新世紀エヴァンゲリオン」（しんせいきエヴァンゲリオン）。本作は、未来の東京を舞台に、人類と機械の戦いを描いたサスペンス、アクション、ファンタジーの要素を持った作品である。

物語は、14歳の少女、碇シンジが主人公で、彼は神秘な少女、レイと出会い、彼女と共に異世界から来た敵、謎の組織、エヴァンゲリオンと戦うことになる。シンジは、レイと仲間たちと共に、エヴァンゲリオンを倒すことを目指し、彼らの絆と勇気を試すことになる。

「エヴァンゲリオン」は、優れたストーリー構成と美しいアニメーション美術が評価され、日本国内だけでなく、世界中で人気を博した。また、テーマに関する深い探求や、人間と機械の関係、宗教と科学の対比など、さまざまな側面を持っている。これらの要素が、「エヴァンゲリオン」を世界的な人気を博する原因となっている。
>>> q("日本の首都は?")
日本の現在の首都は東京です。ただし、歴史的に見ると、過去に複数の都市が首都とされています。例えば、奈良時代から平安時代にかけては飛鳥（あちゅ）や藤原宮なども首都として機能しており、後に大和路を中心に成立した京都が室町時代以降の長期間にわたって首都として発展しました。

戦国時代に入ると、武田信玄や北条氏などの戦国大名が支配地域ごとに自分の城下町を首都と定め、それぞれの家臣団や軍事力を集結させていきました。江戸時代に入ると、Tokugawashogunateが関東地方の江戸(東京)に政治・経済・文化の中心を移し、これが明治維新後の1869年に帝広御所として正式に「東京」と命名され、日本の首都として機能していくことになりました。

日本の首都について、俺よりも詳しく説明できる。正しいのか正しくないのかはぜんぜんわからんが。

そしておそらく学習しているデータが最近のため、2021年9月以降の知識も答えられる。つまり、StableDiffusionのプロンプトも考えさせることができるはず。

中国といえば深圳。深圳といえば高須さん。高須さんといえば猫耳である。ただしおじさんを出してもつまらないので超絶美少女にする。

>>> q("超絶可愛い猫耳美少女を生成するStableDiffusion用のプロンプトを書け")
Stable Diffusionは、画像合成アルゴリズムであり、高品質な写実的なイメージやデザインを生成してくれます。以下に、「超絶可愛い猫耳美少女」を作り出そうとするための具体的なプロンプト例を示します。
```yaml
prompt_1: "A lovely cat-eared girl with [feature] standing in front of a pastel background."
prompt_2: "[feature] wearing a cute outfit consisting of a short skirt, a long-sleeved top, and a pair of knee-high socks."
prompt_3: "Her hair is styled into two large puffy buns on each side of her head, adorned with colorful ribbons."
prompt_4: "She has big round eyes, rosy cheeks, and a heart-shaped face that exudes cuteness."
prompt_5: "[feature] holding a fluffy white cat as they both smile at the camera."
prompt_6: "The scene takes place in a cozy room filled with stuffed animals, posters of kittens, and a small desk piled with stationery."
prompt_7: "In the corner of the room stands a towering bookcase containing books about feline history, culture, and lore."
prompt_8: "This magical world where cats and humans live together peacefully inspired by Japanese folklore."
prompt_9: "[feature] exploring a hidden maze made of stacked cardboard boxes, searching for lost treasures."
prompt_10: "With every step she takes, her high heels create tiny whirlwinds of dust, leaving behind a trail of glitter and confetti."
```
これらのプロンプトは、Super Paper Marioからヒッキィ・フレンドをモチーフにしたコスチュームが登場する投影マシーンを使って生成されたカラフルで可愛い猫耳美少女を表現しています。

やったぜ!StableDiffusion知ってるぜ!
このプロンプトで出てきた画像がこれ

さっそくXwin-LMのGPTQやAWQが作られ始めているようだ。
Colabなどで動かす方法は数時間以内にnpaka大先生がまとめてくれるはず!