7Bで30B超え?Mistral-OpenOrca-7Bを試す

2023年10月5日 02:36

LLMのサイズ比性能インフレが止まらない。
今度はMistral-7BにOpenOrcaを学習させたら、ほとんどの30Bモデルの性能を上回り、Llama2-70Bを超えたとか。もう何を信じればいいのやら。とにかく試してみる。

The @MistralAI winds have attracted superorcas!

Today, we are releasing Mistral-7B-OpenOrca. This is the first 7B model to score better overall than all other models below 30B.🏅 We've achieved 98% of Llama2-70B-chat's performance!😮https://t.co/JS1Y5xVdpW

🧵 1.. pic.twitter.com/VdMLqi6KaC
— Alignment Lab AI (@alignment_lab) October 2, 2023

大阪について聞いてみる

% curl --request POST \
    --url http://localhost:8080/completion \
    --header "Content-Type: application/json" \
    --data '{"prompt": "Osaka as known as","n_predict": 256}'
{"content":" Japan’s kitchen, is a city filled with delicious street food. It has various markets and shopping streets that make it an attractive destination for those who love to eat local food. If you are in Osaka and looking for some mouth-watering dishes, here are ten must-try foods in Osaka:\n\n1. Takoyaki:\n\nTakoyaki is a popular street food in Japan, especially in Osaka. It is made from wheat flour batter, filled with diced octopus or tako, and cooked in a special nonstick pan to create round spheres. Topped with mayo, takoyaki sauce, and bonito flakes, this snack is a favorite of many locals and tourists alike.\n\n2. Kushikatsu:\n\nKushikatsu is a famous dish in Osaka, which consists of deep-fried skewers of various ingredients. The most common ones are pork, beef, chicken, shiitake mushrooms, and lotus root. To enjoy kushikatsu the traditional way, dip the skewered food into wheat flour, then into egg before frying in vegetable oil. Finally, serve with a dipping sauce like k","generation_settings":{"frequency_penalty":0.0,"grammar":"","ignore_eos":false,"logit_bias":[],"mirostat":0,"mirostat_eta":0.10000000149011612,"mirostat_tau":5.0,"model":"models/mistral-7b-openorca.Q8_0.gguf","n_ctx":2222,"n_keep":0,"n_predict":256,"n_probs":0,"penalize_nl":true,"presence_penalty":0.0,"repeat_last_n":64,"repeat_penalty":1.100000023841858,"seed":4294967295,"stop":[],"stream":false,"temp":0.800000011920929,"tfs_z":1.0,"top_k":40,"top_p":0.949999988079071,"typical_p":1.0},"model":"models/mistral-7b-openorca.Q8_0.gguf","prompt":"Osaka as known as","stop":true,"stopped_eos":false,"stopped_limit":true,"stopped_word":false,"stopping_word":"","timings":{"predicted_ms":6897.205,"predicted_n":255,"predicted_per_second":36.97149787486381,"predicted_per_token_ms":27.04786274509804,"prompt_ms":291.884,"prompt_n":5,"prompt_per_second":17.130092776582476,"prompt_per_token_ms":58.3768},"tokens_cached":261,"tokens_evaluated":6,"tokens_predicted":256,"truncated":false}

日本の台所とも呼ばれる大阪は、おいしい屋台料理がたくさんある街です。さまざまな市場や商店街があり、地元の食べ物を食べるのが好きな人にとって魅力的な場所です。大阪にいて、食欲をそそる料理を探しているなら、ここで大阪でぜひ試していただきたい 10 の料理をご紹介します:\n\n1.たこ焼き:\n\nたこ焼きは日本、特に大阪で人気の屋台の食べ物です。小麦粉の生地に角切りのタコやタコを詰め、焦げ付き防止の特殊なフライパンで丸い球状に焼きます。マヨネーズ、たこ焼きソース、かつお節をトッピングしたこのスナックは、多くの地元民や観光客に人気です。\n\n2.串カツ:\n\n串カツは、さまざまな食材を串で揚げた大阪の有名な料理です。最も一般的なものは、豚肉、牛肉、鶏肉、椎茸、レンコンです。串カツを伝統的な方法で楽しむには、串に刺した食べ物を小麦粉に付け、次に卵に付けてから植物油で揚げます。最後にKのようなつけ汁をつけてお召し上がりください

確かに今までで一番いいかもしれない。

% curl --request POST \
    --url http://localhost:8080/completion \
    --header "Content-Type: application/json" \
    --data '{"prompt": "Hayao Miyazaki as known as","n_predict": 256}'
{"content":" one of the most famous japanese animators, he founded Studio Ghibli with his friend Isao Takahata in 1985 and became a reference for animation in Japan.\n\nToday we want to talk about his latest movie “The Wind Rises” which came out in 2013 and represents the last film of Miyazaki as a director, he said it would be his last movie but who knows, he may come back with another one!\n\nThe Wind Rises tells the story of Jiro Horikoshi, an aircraft designer responsible for creating the famous Japanese fighter plane, the Mitsubishi A6M Zero. The movie is based on a manga of the same name which was written by Tatsuo Hori. In addition to telling the story of Jiro Horikoshi’s life, the film also depicts the life of his wife, Nahoko, who suffers from a chronic illness.\n\nThe animation itself is absolutely stunning and it will make you feel like you are flying in the clouds. The Wind Rises has some of the most beautiful scenes of any animated film. Miyazaki really outdid himself with this one.\n\nThe soundtrack composed by","generation_settings":{"frequency_penalty":0.0,"grammar":"","ignore_eos":false,"logit_bias":[],"mirostat":0,"mirostat_eta":0.10000000149011612,"mirostat_tau":5.0,"model":"models/mistral-7b-openorca.Q8_0.gguf","n_ctx":2222,"n_keep":0,"n_predict":256,"n_probs":0,"penalize_nl":true,"presence_penalty":0.0,"repeat_last_n":64,"repeat_penalty":1.100000023841858,"seed":4294967295,"stop":[],"stream":false,"temp":0.800000011920929,"tfs_z":1.0,"top_k":40,"top_p":0.949999988079071,"typical_p":1.0},"model":"models/mistral-7b-openorca.Q8_0.gguf","prompt":"Hayao Miyazaki as known as","stop":true,"stopped_eos":false,"stopped_limit":true,"stopped_word":false,"stopping_word":"","timings":{"predicted_ms":6788.412,"predicted_n":255,"predicted_per_second":37.5640134982968,"predicted_per_token_ms":26.621223529411765,"prompt_ms":2647.071,"prompt_n":9,"prompt_per_second":3.3999843600719437,"prompt_per_token_ms":294.11899999999997},"tokens_cached":265,"tokens_evaluated":10,"tokens_predicted":256,"truncated":false}%

最も有名な日本のアニメーターの一人として知られる宮崎駿は、1985 年に友人の高畑勲とともにスタジオジブリを設立し、日本のアニメーションの基準となりました。\n\n今日は彼の最新映画「風立ちぬ」について話したいと思います。この映画は 2013 年に公開され、宮崎監督の最後の作品となっています。彼はこれが最後の映画になるだろうと言いましたが、次の作品で戻ってくるかもしれません!\n\n『風立ちぬ』は堀越二郎の物語です。日本の有名な戦闘機、三菱 A6M 零式艦艇の開発を担当した航空機設計者。この映画は堀辰雄の同名漫画が原作です。この映画は、堀越二郎の人生の物語に加えて、慢性疾患に苦しむ彼の妻、菜穂子の人生も描いています。\n\nアニメーション自体は本当に素晴らしく、まるで自分がその中に飛んでいるような気分にさせてくれます。雲。『風立ちぬ』には、アニメーション映画の中でも最も美しいシーンがいくつかあります。宮崎監督はこの作品で本当に自分自身を上回りました。\n\nサウンドトラックは次のような人によって作曲されました。

完璧に近い。なぜ日本の知識も強化されるんだ?OpenOrcaってそういう内容だっけ?ということは最初からOpenOrcaを日本語に翻訳すればいいのか?

 % curl --request POST \
    --url http://localhost:8080/completion \
    --header "Content-Type: application/json" \
    --data '{"prompt": "enchant.js as known as","n_predict": 256}'
{"content":" \"A JavaScript HTML5 Game Framework\" is a JavaScript framework created by the Japan-based company, enchant.co. This framework allows game developers to create games for all major platforms using only HTML5 technologies, such as JavaScript and CSS3.\n\nenchant.js provides tools for building a variety of different game types, including 2D and 3D games, RPGs, action, puzzle, and strategy games. The open-source nature of the framework allows developers to contribute their own modules and improvements. Furthermore, enchant.js also supports mobile devices such as iOS and Android, providing access to touch events, accelerometer data, and other features.\n\nFor more information about enchant.js, please visit: http://enchantjs.com/\n\nThis course is designed for individuals interested in learning how to develop 2D games using the enchant.js framework. By the end of this course, you will have acquired a good understanding of basic game development principles and techniques by following along with the instructor's coding examples and practice exercises throughout the course. The topics covered include setting up the development environment, creating sprites, animations, collision detection, input handling, and other essential game development components.\n","generation_settings":{"frequency_penalty":0.0,"grammar":"","ignore_eos":false,"logit_bias":[],"mirostat":0,"mirostat_eta":0.10000000149011612,"mirostat_tau":5.0,"model":"models/mistral-7b-openorca.Q8_0.gguf","n_ctx":2222,"n_keep":0,"n_predict":256,"n_probs":0,"penalize_nl":true,"presence_penalty":0.0,"repeat_last_n":64,"repeat_penalty":1.100000023841858,"seed":4294967295,"stop":[],"stream":false,"temp":0.800000011920929,"tfs_z":1.0,"top_k":40,"top_p":0.949999988079071,"typical_p":1.0},"model":"models/mistral-7b-openorca.Q8_0.gguf","prompt":"enchant.js as known as","stop":true,"stopped_eos":false,"stopped_limit":true,"stopped_word":false,"stopping_word":"","timings":{"predicted_ms":6785.783,"predicted_n":255,"predicted_per_second":37.57856683598635,"predicted_per_token_ms":26.610913725490196,"prompt_ms":268.337,"prompt_n":7,"prompt_per_second":26.086600058881185,"prompt_per_token_ms":38.33385714285714},"tokens_cached":263,"tokens_evaluated":8,"tokens_predicted":256,"truncated":false}

JavaScript HTML5 ゲームフレームワークとして知られるenchant.js は、日本を拠点とする企業、enchant.co によって作成された JavaScript フレームワークです。このフレームワークを使用すると、ゲーム開発者は、JavaScript やCSS3.\n\nenchant.js は、2D および 3D ゲーム、RPG、アクション、パズル、ストラテジーゲームなど、さまざまな種類のゲームを構築するためのツールを提供します。フレームワークのオープンソースの性質により、開発者は独自のモジュールを提供できます。さらに、enchant.js は iOS や Android などのモバイルデバイスもサポートしており、タッチイベント、加速度計データ、その他の機能へのアクセスを提供します。\n\nenchant.js の詳細については、http://enchantjs を参照してください。 .com/\n\nこのコースは、enchant.js フレームワークを使用して 2D ゲームを開発する方法を学習することに興味がある個人向けに設計されています。このコースを終了するまでに、次の手順に従って、基本的なゲーム開発の原則とテクニックを十分に理解できるようになります。コース全体を通じて、インストラクターによるコーディング例と演習が提供されます。取り上げられるトピックには、開発環境のセットアップ、スプライト、アニメーション、衝突検出、入力処理、その他の重要なゲーム開発コンポーネントの作成が含まれます。\n

% curl --request POST \
    --url http://localhost:8080/completion \
    --header "Content-Type: application/json" \
    --data '{"prompt": "In University of Texus,Austin. Dr. Peter Stone as known as","n_predict": 256}'
{"content":" the father of “deep learning” in robotics and artificial intelligence (AI). Deep learning is a subset of AI that has gained significant attention in recent years because it has shown great success in many applications including facial recognition, speech recognition and natural language processing.\n\nDr. Stone and his team have been doing cutting-edge research on AI for the past 30 years. Their efforts have resulted in numerous advances, including a robotic system that can teach itself new tasks, which is the first of its kind.\n\nIn this interview, Dr. Peter Stone talks about his work with deep learning and how it’s being applied to various fields. He also discusses how he became interested in AI and the challenges he faces as a researcher in this field.\n\nQ: Can you tell us a little bit about yourself and your background?\n\nA: I’m originally from Texas, and I went to school at MIT for my undergrad degree in computer science. After that, I moved on to Stanford University where I earned my Ph.D. in AI. I then became an assistant professor at the University of Texas at Austin, and eventually a full professor.\n\nQ: How did you become interested in artificial intelligence?\n\nA:","generation_settings":{"frequency_penalty":0.0,"grammar":"","ignore_eos":false,"logit_bias":[],"mirostat":0,"mirostat_eta":0.10000000149011612,"mirostat_tau":5.0,"model":"models/mistral-7b-openorca.Q8_0.gguf","n_ctx":2222,"n_keep":0,"n_predict":256,"n_probs":0,"penalize_nl":true,"presence_penalty":0.0,"repeat_last_n":64,"repeat_penalty":1.100000023841858,"seed":4294967295,"stop":[],"stream":false,"temp":0.800000011920929,"tfs_z":1.0,"top_k":40,"top_p":0.949999988079071,"typical_p":1.0},"model":"models/mistral-7b-openorca.Q8_0.gguf","prompt":"In University of Texus,Austin. Dr. Peter Stone as known as","stop":true,"stopped_eos":false,"stopped_limit":true,"stopped_word":false,"stopping_word":"","timings":{"predicted_ms":6798.097,"predicted_n":255,"predicted_per_second":37.51049742302883,"predicted_per_token_ms":26.659203921568626,"prompt_ms":253.80700000000002,"prompt_n":17,"prompt_per_second":66.9800281316118,"prompt_per_token_ms":14.929823529411765},"tokens_cached":273,"tokens_evaluated":18,"tokens_predicted":256,"truncated":false}

オースティンのテキサス大学にて。ロボット工学と人工知能（AI）における「ディープラーニング」の父として知られるピーター・ストーン博士。ディープラーニングは、顔認識、音声認識、自然言語処理などの多くのアプリケーションで大きな成功を収めているため、近年大きな注目を集めている AI のサブセットです。\n\nDr.ストーン氏と彼のチームは、過去 30 年間にわたって AI に関する最先端の研究を行ってきました。彼らの努力は、この種のものとしては初となる、新しいタスクを自ら学習できるロボットシステムなど、数多くの進歩をもたらしました。\n\nこのインタビューでは、ピーターストーン博士がディープラーニングを使った研究とその応用方法について語ります。さまざまな分野へ。彼はまた、どのようにして AI に興味を持ったのか、そしてこの分野の研究者として直面する課題についても語ります。\n\nQ: あなた自身とあなたの経歴について少し教えていただけますか?\n\nA: 私はテキサス出身です。そして私はコンピューターサイエンスの学士号を取得するためにMITの学校に通いました。その後、スタンフォード大学に進み、そこで博士号を取得しました。 AIで。その後、テキサス大学オースティン校の助教授になり、最終的には正教授になりました。\n\nQ: 人工知能に興味を持ったきっかけは何ですか?\n\nA

% curl --request POST \
    --url http://localhost:8080/completion \
    --header "Content-Type: application/json" \
    --data '{"prompt": "In Japan, Golden gai as known as","n_predict": 256}'
{"content":" the “Golden District” is a unique area located in Shinjuku ward of Tokyo. This district contains over 200 tiny bars and taverns packed into an area just five square meters. The area is famous for its intimate, cozy atmosphere and rich nightlife.\n\nEach bar has its own unique characteristics, with some even featuring live music and cultural events. The bars in the Golden Gai also offer a wide range of drinks including sake, Japanese whisky, and local craft beers.\n\nGolden gai is not just about the drinking; it’s also an area steeped in history, as many of the bars have been operating since the 1940s and 50s. The district has been a popular haunt for writers, artists, and celebrities over the years.\n\nIf you decide to visit Golden Gai, be prepared to experience a completely different side of Tokyo nightlife that contrasts from the typical neon-lit streets and crowded karaoke bars.\n\nAddress: Shinjuku, Tokyo, Japan\nPhone: N/A\nWebsite: N/A\n\nGolden gai is not just about the drinking; it’","generation_settings":{"frequency_penalty":0.0,"grammar":"","ignore_eos":false,"logit_bias":[],"mirostat":0,"mirostat_eta":0.10000000149011612,"mirostat_tau":5.0,"model":"models/mistral-7b-openorca.Q8_0.gguf","n_ctx":2222,"n_keep":0,"n_predict":256,"n_probs":0,"penalize_nl":true,"presence_penalty":0.0,"repeat_last_n":64,"repeat_penalty":1.100000023841858,"seed":4294967295,"stop":[],"stream":false,"temp":0.800000011920929,"tfs_z":1.0,"top_k":40,"top_p":0.949999988079071,"typical_p":1.0},"model":"models/mistral-7b-openorca.Q8_0.gguf","prompt":"In Japan, Golden gai as known as","stop":true,"stopped_eos":false,"stopped_limit":true,"stopped_word":false,"stopping_word":"","timings":{"predicted_ms":6803.0070000000005,"predicted_n":255,"predicted_per_second":37.4834246091471,"predicted_per_token_ms":26.678458823529414,"prompt_ms":260.124,"prompt_n":9,"prompt_per_second":34.59888360935554,"prompt_per_token_ms":28.90266666666667},"tokens_cached":265,"tokens_evaluated":10,"tokens_predicted":256,"truncated":false}%

日本では「ゴールデン街」として知られるゴールデン街は、東京都新宿区にあるユニークなエリアです。この地区には、わずか 5 平方メートルのエリアに 200 以上の小さなバーや居酒屋がひしめいています。このエリアは、親密で居心地の良い雰囲気と豊かなナイトライフで有名です。\n\n各バーには独自の特徴があり、ライブ音楽や文化イベントを開催するバーもあります。ゴールデン街のバーでは、日本酒、日本のウィスキー、地元のクラフトビールなど、幅広い種類のドリンクも提供しています。\n\nゴールデン街はただお酒を飲むだけではありません。多くのバーが 1940 年代から 1950 年代から営業しており、歴史が息づくエリアでもあります。この地区は、長年にわたり作家、芸術家、著名人のたまり場として人気があります。\n\nゴールデン街を訪れることに決めた場合は、典型的なネオン街や街路とは対照的な、東京のナイトライフのまったく異なる側面を体験する準備をしてください。 \n\n住所: 東京都新宿区\n電話番号: 該当なし\nウェブサイト: 該当なし\n\nゴールデン街はお酒を飲むだけの街ではありません。それ'

ゴールデン街のことも知っている。
英語で知られていることはほぼ完璧に答えられるようだ。

とすると日本固有の知識をどう教えるかが課題か
Wikipediaでもいい気がするが