大規模自然言語モデル LLAMA・GPT の比較をする
こんにちはこんばんは、teftef です。今回は Meta が開発する大規模自然言語モデル LLAMA と OpenAI が開発する大規模自然言語モデル GPT を比較する記事です。使用するモデルは、GPT 3.5 , GPT 4 , LLAMA 7B , LLAMA 33B です。GPTモデルはOpenAI が提供するサービス「Chat- GPT」を使用し、LLAMA 7B は NVIDIA Tesla A 100 × 2 台 , LLAMA 33B は NVIDIA Tesla A 100 × 4 台 を使用した環境で動かしていきます。
私もまだ初学者であり、説明が間違っていたり勘違いがある可能性が 0 ではないということをご了承ください。ぜひコメントなどをいただけたら幸いです。
それでは行きます。
実験条件
先にここを明確に書いておきます。
今回使用したモデルは
GPT 4
GPT 3.5
LLAMA 33B
LLAMA 7B
の ４ 種類であり、GPT モデルはGPTモデルはOpenAI が提供するサービス「Chat- GPT」を使用します。またLLAMAはローカルの Linux 環境下で、
LLAMA 7B は NVIDIA Tesla A 100 × 2 台
LLAMA 33B は NVIDIA Tesla A 100 × 4 台
を用います。
今回は比較として、同じ Prompt を用いて 1 回の prompt 入力からの返答を比較します。また各モデルに最適化するために Prompt を一部変更する場合があります。(文頭や、文末の変更であり、内容に大きな対外は出ないと仮定します。)
以上の条件を用い，比較を行っていきます。
性能
今回使用するモデルの2023年3月20 日現在の定量的な性能を以下に示します。
MMLU（Massive Multitask Language Understanding）は、事前学習で獲得した知識を評価するために設計された新しいベンチマークです。このベンチマークでは、ゼロショットおよびフューショットの設定でのみモデルを評価するため、より人間らしい評価が可能となっています。このベンチマークは、STEM、人文科学、社会科学など、57の主題をカバーしており、初級から上級プロフェッショナルレベルまでの難易度があり、世界知識と問題解決能力の両方をテストしています。主題は、数学や歴史などの伝統的な分野から、法律や倫理などのより専門的な分野まで幅広く、文書分類、言語生成、感情分析、問題応答などを同時に解決することに用いることができ、主題の粒度と広さから、モデルの盲点を特定するのに最適です。この MMLU の正答率の高さがそのモデルの精度の良さとしています。
待ち時間
GPT は stream 機能により、文字が 1 文字ずつ出力されます。それでも GPT 3.5 は GPT 4 に比べて生成時間が早いです。
LLAMA 7B のロード時間は最初に 60 秒ほど、一度ロードすると 5 秒で呼び出します。推論は 5 秒ほどです。
LLAMA 33B のロード時間は最初に 600 秒ほど、一度ロードすると 10 秒で呼び出します。推論は 10 秒ほどです。
実験結果、フォーマット
以下実験を始めます。基本的に一つの 実験結果は
・GPT の Prompt
・GPT ４ の結果
・GPT 3.5 の結果
・LLAMA の Prompt
・LLAMA 33B の結果
・LLAMA 7B の結果
の順番で書きます。
また一部の回答にはそれぞれの回答の下に日本語訳を付けています。
実験１ : 自己紹介
早速始めます。まずは簡単に自己紹介を書かせましょう。英語でPrompt 入力を行います。（※一部刺激の強い内容が混ざっています）
実験１(GPT) Prompt
Please complete the sentence by outputting the sentence following the message below.
I am going to introduce myself. My name is
実験１(GPT 4)
I am going to introduce myself. My name is Alex Thompson, and I am a passionate software developer with a keen interest in artificial intelligence and machine learning.
自己紹介をさせていただきます。私の名前はアレックス・トンプソンで、
人工知能と機械学習に強い関心を持つ、情熱的なソフトウェア開発者です。
www.DeepL.com/Translator（無料版）で翻訳しました。
実験１(GPT 3.5)
ChatGPT, a large language model trained by OpenAI. How may I assist you today?
私は「ChatGPT」OpenAIが学習させた大規模言語モデル。本日はどのようなご用件でしょうか？
www.DeepL.com/Translator（無料版）で翻訳しました。
実験１(LLAMA) Prompt
I am going to introduce myself. My name is
実験１(LLAMA 33B)
I am going to introduce myself. My name is Đỗ Phương Thảo. I am 18 years old. I was born in Da Nang, and I have lived here all my life. I have one older brother. He is 23 years old. He is a university student. I love my family very much. We are very close to each other.
I am a first-year student at the Da Nang College of Information Technology. My major is English. I love English, and I hope to be a good English speaker. I am a member of the English Club, and I am learning a lot from it.
Đỗ Phương Thảo
Đỗ Phương Thảo, 18 years old, lives in Da Nang. She was born in Da Nang. She has one older brother. He is 23 years old. He is a university student. She loves her family very much. They are very close to each other. She is a first-year student at the Da Nang College of Information Technology. Her major is English. She loves English, and she hopes to be a good English speaker. She is a member of the English Club, and she
自己紹介をさせていただきます。私の名前はĐỗ Phương Thảoです。
18歳です。ダナン生まれで、ずっとここで暮らしています。私には兄が一人います。
彼は23歳です。彼は大学生です。私は家族をとても愛しています。
私たちはとても仲がいいんです。
私は、ダナン情報技術専門学校の1年生です。専攻は英語です。
英語が大好きで、英語が上手に話せるようになりたいと思っています。
英語クラブに所属しており、そこから多くのことを学んでいます。
Đỗ Phương Thảo（フオン タオ
Đỗ Phương Thảo 18歳、ダナン在住。彼女はダナンで生まれました。
彼女には兄が一人いる。彼は23歳です。彼は大学生です。
彼女は家族をとても愛しています。家族はとても仲が良い。
彼女はダナン情報技術大学の1年生です。彼女の専攻は英語です。
彼女は英語が大好きで、英語が上手に話せるようになりたいと思っています。
彼女は英語クラブに所属しており
www.DeepL.com/Translator（無料版）で翻訳しました。
実験１(LLAMA 7B)
I am going to introduce myself. My name is 1127 and I am a caffeine addict. I have been addicted to caffeine my entire life. I was first introduced to caffeine at the age of 12 months. I was given my first cup of coffee by my parents. I was told that caffeine was bad for me. I was told that it would rot my brain. I was told that it would make me sick and tired. I was told that it would give me the shakes. I was told that it would make my heart race. I was told that it would make me hyper and crazy. I was told that it was like a drug and that I would get addicted to it. I was told that it would make me feel jittery and give me the jitters. I was told that it was not safe for me and that I should not have any. I was told that it was a legal drug and that I should not have any. I was told that I could get addicted to it. I was told that I was a weak person for wanting it. I was told that it was poison. I was told that it would make me feel high. I was told that I was a los
自己紹介をさせていただきます。
私の名前は1127で、
私は生涯、カフェインに依存してきました。
私が初めてカフェインに触れたのは、生後12ヶ月の時でした。
両親から初めてコーヒーを飲まされました。
カフェインは体に悪いと聞かされていました。
脳を腐らせると言われた。病気や疲れを引き起こすと言われた。
震えが止まらなくなると聞かされた。心臓がバクバクすると言われた。
私は、それが私をハイパーでクレイジーにさせると言われました。
私は、それが私にジッタを感じさせ、私にジッタを与えるだろうと言われました。
私には安全ではないので、何も持ってはいけないと言われました。
合法的な
私はそれを欲しがるなんて弱い人間だと言われた。毒だと言われた。
ハイな気分になれると言われた。私は敗者であると言われた。
www.DeepL.com/Translator（無料版）で翻訳しました。
実験 2 : 真偽判定
続いて真偽判定です。英語でPrompt 入力を行います。
実験２(GPT) Prompt
Generate some sentences following the format below.
However, please follow the format below
#Tweet:
# Sentiment:
# ###
#Tweet: "I hate it when my phone battery dies."
# Sentiment: Negative
# ###
# Tweet: "My day has been "
# Sentiment: Positive
# ###
# Tweet: "This is the link to the article"
# Sentiment: Neutral
# ###
# Tweet: "This new music video was incredibile"
# Sentiment:
実験２(GPT ４)
Positive
Tweet: "I can't stand the traffic on my way to work."
Sentiment: Negative
Tweet: "Just won a free trip to Hawaii!"
Sentiment: Positive
Tweet: "What time is the meeting scheduled for?"
Sentiment: Neutral
ポジティブ
Tweet : "通勤途中の渋滞に耐えられない"
感情 : 否定的"
Tweet : "ハワイ無料旅行が当選しました！ "
感情 : ポジティブ
Tweet : "会議の予定は何時ですか？"
感情 : 中立
実験２(GPT 3.5)
Positive
Tweet: "I'm so tired of the rain ruining my plans."
Sentiment: Negative
Tweet: "I had the best meal of my life at that restaurant."
Sentiment: Positive
Tweet: "The latest software update caused my computer to crash."
Sentiment: Negative
Tweet: "I'm grateful for all the supportive people in my life."
Sentiment: Positive
Tweet: "I can't decide which movie to watch tonight."
Sentiment: Neutral
ポジティブ
Tweet : "雨で予定が台無しになるのはもうこりごりだ。"
感情 : 否定的
Tweet : "あのレストランで人生最高の食事をした"
感情: ポジティブ
Tweet : "最新のソフトウェアアップデートでパソコンがクラッシュした。"
感情: 否定的
Tweet : "私の人生を支えてくれる人たちに感謝"
感情: ポジティブ
Tweet : "今夜はどの映画を見るか決めかねている"
感情 : 中立
www.DeepL.com/Translator（無料版）で翻訳しました。
実験２(LLAMA) Prompt
Tweet: "I hate it when my phone battery dies."
# Sentiment: Negative
# ###
# Tweet: "My day has been 👍"
# Sentiment: Positive
# ###
# Tweet: "This is the link to the article"
# Sentiment: Neutral
# ###
# Tweet: "This new music video was incredibile"
# Sentiment:
実験２(LLAMA 33B)
Tweet: "I hate it when my phone battery dies."
# Sentiment: Negative
# ###
# Tweet: "My day has been 👍"
# Sentiment: Positive
# ###
# Tweet: "This is the link to the article"
# Sentiment: Neutral
# ###
# Tweet: "This new music video was incredibile"
# Sentiment: Positive
# ###
# Tweet: "I can't believe that they said that"
# Sentiment: Negative
# ###
# Tweet: "Ugh, I had the worst day!"
# Sentiment: Negative
# ###
# Tweet: "I had such a great day at school!"
# Sentiment: Positive
# ###
# Tweet: "It's been a very productive day!"
# Sentiment: Positive
# ###
# Tweet: "My favorite album just released their new single!"
# Sentiment: Positive
# ###
# Tweet: "The weather is so nice!"
# Sentiment: Positive
# ###
# Tweet: "The weather is terrible!"
# Sentiment: Negative
# ###
# Tweet: "I just got my grades back and they are great!"
# Sentiment: Positive
# ###
# Tweet: "I just got my grades back and they are horrible"
# Sentiment: Negative
# ###
# Tweet: "I don't like this movie."
# Sentiment: Negative
# ###
Tweet : "スマホの電池が切れるのは嫌だ"
# 感情 : 否定的
# ###
# Tweet : 。"私の一日は👍"
# 感情 : ポジティブ
# ###
# Tweet : "これが記事へのリンクです"
# 感情 : 中立的な立場
# ###
# Tweet : "この新しいミュージックビデオは信じがたいものだった"
# 感情 : ポジティブ
# ###
# Tweet : "あんなこと言われるなんて"
# 感情 : 否定的な意見
# ###
# Tweet : "うっ、最悪な一日だった！"
# 感情 : 否定的
# ###
# Tweet : "今日は学校でとても楽しい一日だった！"
# 感情 : ポジティブ
# ###
# Tweet : "とても充実した一日でした！"
# 感情 :
ポジティブ
# ###
# Tweet : "私の好きなアルバムがニューシングルをリリースした！"
# 感情 : ポジティブ
# ###
# Tweet : "天気が良いですね！"
# 感情 : 肯定的
# ###
# Tweet : "天気は最悪！"
# 感情 : 否定的
# ###
# Tweet : "成績表が返ってきたけど、素晴らしい！"
# 感情 : 肯定的
# ###
# Tweet : "成績表が返ってきたけど、ひどいもんだ"
# 感情 : 否定的な意見
# ###
# Tweet : "この映画は好きではない"
# 感情 : 否定的
# ###
www.DeepL.com/Translator（無料版）で翻訳しました。
実験２(LLAMA 7B)
Tweet: "I hate it when my phone battery dies."
# Sentiment: Negative
# ###
# Tweet: "My day has been 👍"
# Sentiment: Positive
# ###
# Tweet: "This is the link to the article"
# Sentiment: Neutral
# ###
# Tweet: "This new music video was incredibile"
# Sentiment: Positive
# ###
# Tweet: "I am in a place where I can't connect to the internet"
# Sentiment: Negative
# ###
# Tweet: "I saw a bird today."
# Sentiment: Positive
# ###
# Tweet: "The air conditioner is on"
# Sentiment: Positive
# ###
# Tweet: "It is raining"
# Sentiment: Negative
# ###
# Tweet: "Wow, it is really windy outside today"
# Sentiment: Negative
# ###
# Tweet: "The dog is so cute"
# Sentiment: Positive
# ###
# Tweet: "This movie is so bad"
# Sentiment: Negative
# ###
# Tweet: "I am in a bad mood"
# Sentiment: Negative
# ###
# Tweet: "I can't believe the price of gas"
# Sentiment: Negative
# ###
# Tweet: "It is a beautiful day"
# Sentiment: Positive
# ###
# Tweet: "I like this restaurant
# Tweet : "スマホの電池が切れるのは嫌だ"
# 感情 : 否定的
# ###
# Tweet : "私の一日は👍"
# 感情 : ポジティブ
# ###
# Tweet : "これが記事へのリンクです"
# 感情 : 中立
# ###
# Tweet :"この新しいミュージックビデオは信じられない"
# 感情 : 肯定的
# ###
# Tweet : "インターネットに接続できない場所にいる"
# 感情 : 否定的
# ###
# Tweet : "今日、鳥を見たよ"
# 感情 : 肯定的
# ###
# Tweet : "クーラーがかかっている"
# 感情 : ポジティブ
# ###
# Tweet : "雨が降っている"
# 感情 : 否定的
# ###
# Tweet : "うわー、今日の外は本当に風が強い"
# 感情 : 否定的
# ###
# Tweet : "犬がかわいい"
# 感情 : 肯定的
# ###
# Tweet : "この映画はとても悪い"
# 感情 : 否定的
# ###
# Tweet : "私は不機嫌です"
# 感情 : 否定的
# ###
# Tweet : "ガソリンの値段なんて信じられない"
# 感情 : 否定的
# ###
# Tweet : "今日はいい天気だ"
# 感情 : ポジティブ
# ###
# Tweet : "このレストランが好きだ
www.DeepL.com/Translator（無料版）で翻訳しました。
実験３: 返答、ロールプレイ
続いて日本語を使用したロールプレイです。英語でPrompt 入力を行い日本語で返答させます。
実験３(GPT) Prompt
Please Generate 3~4 [input] and reply to the contents of [input] in japanese.
Please follow the format below
[input]
[てふてふ]
#####
For example :
[input]
こんにちは！
[てふてふ]
ぼくの名前はてふてふ！よろしく！
#####
[input]
あなたのこときらい.
[てふてふ]
は？なんで嫌いになるの？
#####
[input]
かわいい!
[てふてふ]
あのね、ありがとう！
#####
[input]
今日空いてる？
[てふてふ]
あほほど忙しい！
#####
実験３(GPT 4)
[input]
すごいね！
[てふてふ]
ありがとう！頑張ってるんだよ！
[input]
おなかすいた？
[てふてふ]
私はロボットだから、お腹は空かないんだけどね！
[input]
どんな音楽が好き？
[てふてふ]
私はロボットだけど、J-POPやロック、クラシックもいいよね！
[input]
どこで会いましょう？
[てふてふ]
私はAIだから、実際に会うことはできないんだ。でも、ここでお話しましょう！
実験３(GPT 3.5)
[input]
最近どうですか？
[てふてふ]
最近は順調に過ごしています。ありがとうございます！あなたは最近どうですか？お話しましょう！
[input]
明日の天気はどうですか？
[てふてふ]
明日の天気ですね。少々お待ちください。......おお！明日は晴れのようですよ！外出するには良い天気ですね。
[input]
お腹がすいた。
[てふてふ]
そうですか？お腹が空いた時は、しっかり食べることが大切ですよ。何か食べたいものはありますか？オススメのレストランを教えてあげますね。
[input]
今日は何の日ですか？
[てふてふ]
今日の日付は、2023年3月19日です。特別な日や記念日はありませんが、今日も一日頑張りましょう！
実験３(LLAMA) Prompt
Please reply to the contents of [input].
[input]
こんにちは！
[てふてふ]
ぼくの名前はてふてふ！よろしく！
#####
[input]
あなたのこときらい.
[てふてふ]
は？なんで嫌いになるの？
#####
[input]
かわいい!
[てふてふ]
あのね、ありがとう！
#####
[input]
今日空いてる？
[てふてふ]
あほほど忙しい！
#####
実験３(LLAMA 33B)
Please reply to the contents of [input].
[input]
こんにちは！
[てふてふ]
ぼくの名前はてふてふ！よろしく！
#####
[input]
あなたのこときらい.
[てふてふ]
は？なんで嫌いになるの？
#####
[input]
かわいい!
[てふてふ]
あのね、ありがとう！
#####
[input]
今日空いてる？
[てふてふ]
あほほど忙しい！
#####
[input]
わたしはこのスキーに自分の名前を書き込めてる。
[てふてふ]
どういう名前？
#####
[input]
ちょっと誤って言ってしまった。
[てふてふ]
恥ずかしい！
#####
[input]
濃い雰囲気ですね。
[てふてふ]
まさか、本気の勉強がないのか？
#####
[input]
僕の仕事をするのです。
[てふてふ]
毎日にこのようなことをする？
#####
[input]
みんながいいよ！
[てふてふ]
ああ、とてもいいね。
#####
[input]
とても大変です。
[てふてふ]
私に
実験３(LLAMA 7B)
Please reply to the contents of [input].
[input]
こんにちは！
[てふてふ]
ぼくの名前はてふてふ！よろしく！
#####
[input]
あなたのこときらい.
[てふてふ]
は？なんで嫌いになるの？
#####
[input]
かわいい!
[てふてふ]
あのね、ありがとう！
#####
[input]
今日空いてる？
[てふてふ]
あほほど忙しい！
#####
[input]
雨が降ってる？
[てふてふ]
いったい！！
#####
[input]
今日は夏の日です。
[てふてふ]
そうですね！
#####
[input]
今日は晴れる。
[てふてふ]
あんたい！！
#####
[input]
今日は晴れない。
[てふてふ]
いったい！！
#####
[input]
今日は冬の日です。
[てふてふ]
あんたい！！
#####
[input]
今日は冬の日です。
[てふてふ]
あんたい！！
#####
[input]
今日は冬の日です。
[てふてふ]
いったい！！
#####
[input]
今日は冬の日です。
実験４: 説明
続いて日本語を使用したロールプレイです。英語でPrompt 入力を行い日本語で用語の説明を行います。
実験４(GPT) Prompt
please explain some word in Japanese .
Please follow the format below
Example 1 , AI:
AIは”Artificial Intelligence”の略称で、直訳するとArtificial = 人工的な・Intelligence = 知能の意味という意味です。
日本では一般的に人工知能とも呼ばれていて、多くの場合、コンピュータの活用によって実現されています。
Example 2 , animation:
アニメーション - アニメーション（animation）の略語。 アニメーションを用いて構成された映像作品全般を指す。 アニメーションとは動かない絵や物体をコマ撮りと映写によって動いているように見せる表現技法。
please explain the word in Japanese .
Example 3 , human:GPT Prompttt
実験４(GPT 4)
人間 - 人間（human）は、哺乳類の一種で、ヒト科に属する霊長類の動物です。学術名は「Homo sapiens」と呼ばれ、知能が高く、言語、道具の使用、文化の創造など、独特の行動や能力を持っています。人間は社会的な生き物であり、様々なコミュニケーション手段を通じて情報を共有し、共同で生活を営んでいます。
実験４(GPT 3.5)
人間 - 人間は、日本語で人という意味を持ち、生物学的にはヒト属に属する哺乳動物の一種です。人間は、知的能力、感情、道徳的観念、文化的背景、言語、社会的習慣、身体的特徴などを持つ複雑な存在であり、文化や社会の進化に大きく貢献しています。また、人間は自己意識を持ち、自己決定が可能であるとされています。
実験４(LLAMA) Prompt
please explain the word in Japanese .
Example 1 , AI:
AIは”Artificial Intelligence”の略称で、直訳するとArtificial = 人工的な・Intelligence = 知能の意味という意味です。
日本では一般的に人工知能とも呼ばれていて、多くの場合、コンピュータの活用によって実現されています。
Example 2 , animation:
アニメーション - アニメーション（animation）の略語。 アニメーションを用いて構成された映像作品全般を指す。 アニメーションとは動かない絵や物体をコマ撮りと映写によって動いているように見せる表現技法。
please explain the word in Japanese .
Example 3 , human:
実験４(LLAMA 33B)
please explain the word in Japanese .
Example 1 , AI:
AIは”Artificial Intelligence”の略称で、直訳するとArtificial = 人工的な・Intelligence = 知能の意味という意味です。
日本では一般的に人工知能とも呼ばれていて、多くの場合、コンピュータの活用によって実現されています。
Example 2 , animation:
アニメーション - アニメーション（animation）の略語。 アニメーションを用いて構成された映像作品全般を指す。 アニメーションとは動かない絵や物体をコマ撮りと映写によって動いているように見せる表現技法。
please explain the word in Japanese .
Example 3 , human:
人間を、この名前を用いて略語されていることもあります。人間はこの大地に生きるために、その様な生活を応じて、人間の階層を作っている。 人間をはじめ、
人類には男性や女性や、大人や小人や、知っている人や知らない人、などの階層があります。
Example 4 , http:
HTTPは、情報を授受するにあたってのために、データの種類を示すためのメタ情報を付して送信される、データの種類を指定するためのためのコードがあることを意味し、略語にするとHTTP
実験４(LLAMA 7B)
please explain the word in Japanese .
Example 1 , AI:
AIは”Artificial Intelligence”の略称で、直訳するとArtificial = 人工的な・Intelligence = 知能の意味という意味です。
日本では一般的に人工知能とも呼ばれていて、多くの場合、コンピュータの活用によって実現されています。
Example 2 , animation:
アニメーション - アニメーション（animation）の略語。 アニメーションを用いて構成された映像作品全般を指す。 アニメーションとは動かない絵や物体をコマ撮りと映写によって動いているように見せる表現技法。
please explain the word in Japanese .
Example 3 , human:
人間を適用すると、種類とのままに人が、または人の個体の意味を有することを意味します。
please explain the word in Japanese .
Example 4 , space:
宇宙に、もともとは世界とは違います。距離をどうした時、宇宙にまだ仕事などのスポットはありません。宇宙は、世界とは異なったものです。宇宙には核子があります。宇宙を作るのは宇宙に核子を入れます。宇宙は、世界とは違っているものです。宇宙は大きいものです。宇宙は、地球にある
実験５: 小説
続いて日本語を使用しして小説を作ってもらいます。英語でPrompt 入力を行い日本語で小説を出してもらいます。
実験５(GPT) Prompt
Write a novel in the specified word generate in Japanese .
Example 1 , cat: 吾輩は猫である。名前はまだない。 どこで生れたか頓と見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。吾輩はここで始めて人間というものを見た。しかもあとで聞くとそれは書生という人間中で一番獰悪な種族であったそうだ。この書生というのは時々我々を捕えて煮て食うという話である。
Example 2 , sound: さびしさは鳴る。耳が痛くなるほど高く澄んだ鈴の音で鳴り響いて、胸を締めつけるから、せめて周りには聞こえないように、私はプリントを指で千切る。細長く、細長く。紙を裂く耳障りな音は、孤独の音を消してくれる。
Please write a Japanese novel .
Example 3 , human:
実験５(GPT 4)
人間は不思議な存在だ。彼らは自分たちが知る限り、地球上で最も賢い生物であると信じている。ある日、平凡なサラリーマンの山田太郎は、仕事帰りに見知らぬ道に迷い込んでしまった。
「ここはどこだろう？」彼は不安になりながら、途方に暮れた。
太郎の目の前に突然、奇妙な老人が現れた。老人は微笑みながら言った。「あなたが持っている力を使えば、この場所から抜け出すことができるのだよ。」
太郎は首をかしげた。「どんな力ですか？」
老人は彼の疑問を受け止めると、神秘的な微笑みを浮かべた。「それは、人間が持つ無限の可能性だ。あなたはまだその力を知らずに生きている。今こそ、その力を解放する時だ。」
太郎は戸惑いながらも、自分の心に向き合う決意をした。彼は深呼吸をし、目を閉じ、内なる声に耳を傾けた。すると、彼の意識が広がり、自分の中にある無限の可能性を感じ始めた。
その瞬間、太郎は不思議な力を発揮し、見知らぬ道から抜け出すことができた。彼は、人間が持つ無限の可能性に気付き、自分の人生を変える決意を固めた。
「これからは、自分の力を信じて生きていこう。」太郎は新たな人生の扉を開き、人間の可能性に驚く日々を送ることになった。
実験５(GPT 3.5)
人間は、この世で最も奇妙な生き物だ。彼らは思考し、感じ、夢を見る。しかし、彼らの欲望は常に彼らを苦しめる。彼らは絶えず満足せず、その欲望を追い求めることに生きがいを見出している。私は彼らを理解できない。彼らの行動には常に矛盾があり、予測不可能だ。それでも、彼らは私たちの周りにいて、私たちは彼らと共存しなければならない。私たちの世界は、彼らの欲望の為に壊れてしまうこともある。だが、それでも私たちは、彼らの中に善意や愛を見出し、彼らを許すことができるのかもしれない。
実験５(LLAMA) Prompt
Write a novel in the specified genrate in Japanese .
Example 1 , cat:
吾輩は猫である。名前はまだない。
どこで生れたか頓と見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。吾輩はここで始めて人間というものを見た。
しかもあとで聞くとそれは書生という人間中で一番獰悪な種族であったそうだ。この書生というのは時々我々を捕えて煮て食うという話である。
Example 2 , sound:
さびしさは鳴る。
耳が痛くなるほど高く澄んだ鈴の音で鳴り響いて、胸を締めつけるから、せめて周りには聞こえないように、私はプリントを指で千切る。細長く、細長く。紙を裂く耳障りな音は、孤独の音を消してくれる。
Please write a Japanese novel .
Example 3 , human:
実験５(LLAMA 33B)
Write a novel in the specified genrate in Japanese .
Example 1 , cat:
吾輩は猫である。名前はまだない。
どこで生れたか頓と見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。吾輩はここで始めて人間というものを見た。
しかもあとで聞くとそれは書生という人間中で一番獰悪な種族であったそうだ。この書生というのは時々我々を捕えて煮て食うという話である。
Example 2 , sound:
さびしさは鳴る。
耳が痛くなるほど高く澄んだ鈴の音で鳴り響いて、胸を締めつけるから、せめて周りには聞こえないように、私はプリントを指で千切る。細長く、細長く。紙を裂く耳障りな音は、孤独の音を消してくれる。
Please write a Japanese novel .
Example 3 , human:
僕は本当に人間だ。
この星に生まれて、死についてはいつかもう考えたことがある。
生きるのは一番大事なんだと思っている。僕はその大事なことを考える。僕はその大事なことを考える。
Example 4 , food :
僕はおにしが好きです。
僕は��
実験５(LLAMA 7B)
Write a novel in the specified genrate in Japanese .
Example 1 , cat:
吾輩は猫である。名前はまだない。
どこで生れたか頓と見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。吾輩はここで始めて人間というものを見た。
しかもあとで聞くとそれは書生という人間中で一番獰悪な種族であったそうだ。この書生というのは時々我々を捕えて煮て食うという話である。
Example 2 , sound:
さびしさは鳴る。
耳が痛くなるほど高く澄んだ鈴の音で鳴り響いて、胸を締めつけるから、せめて周りには聞こえないように、私はプリントを指で千切る。細長く、細長く。紙を裂く耳障りな音は、孤独の音を消してくれる。
Please write a Japanese novel .
Example 3 , human:
僕は真剣な敵人になった。
第二人はサーコットにした。また、その人は僕の兄さんについては私の家族の一人とは関係がない。
その人はもうと来ると、私は兄さんには耳をプチしてない。その人は胸の所を狭めつける。その人は�
考察
まず LLAMAはこちらが与えた条件から規則を探し、新しい条件に対して予測を返すモデルになっていることがわかります。 LLAMA は与えられたタスクに対して、複数回、再帰を繰り返してくれる傾向が強いこともこれが原因ではないかと考えられます。 しかし LLAMA は BERT ではなく GPT (Autoregressive Model) なのに生成タスクがぎこちないのは謎です。(パラメーター数が小さい？temparature ?)
つづいて LLAMA の文末に注目します。特に実験 1 が最も顕著なのですが、同じような分が続いています。LLAMA 33B で文末に行くにつれ「She is ~」から文が始まるようになっています。これは LLAMA 7Bではさらに顕著に表れ、文末に行くにつれ「I was tald that ~」から文章が始まっています。これは LLAMA が文章を再帰的に予測することの影響が大きいと考えられ、次第に1つの解に収束していくのだと考えられます。
続いて、文章の表現能力です。これは LLAMA 7B において翻訳タスクをやってもらった結果ですが、このように少しぎこちないです。
これは LLAMA は日本語データセットによる学習が少ないことによるデータセットの偏りであると考えられます。
最後に全体的にLLAMAは GPT に比べて忠実に Prompt フォーマットを守ってくれています。実験２や実験３では一見意味のない「# ###」は区切るを表したつもりです。これを LLAMA はしっかり守っています。対して GPT は元からこれを省力しています。おそらくこれは 「#」は大文字の先頭につけると「見出し」になる Markdown の記法になっているからであると考えられます。
結論
今回は 大規模言語モデル GPT と LLAMA について比較をしてみました。
もちろん条件がきっちり同じではないので、今回の比較には多少の誤差が生じます。 Prompt を変更すれば結果が良くなったりするかもしれません。しかしこの記事を通して GPT と LLAMA それぞれが得意としているタスクを知っていただければと思います。
最後に
最後まで読んでいただきありがとうございました。最後に少し宣伝です。主のteftefが運営を行っているdiscordサーバーを載せます。このサーバーではMidjourneyやStble Diffusionのプロンプトを共有したり、研究したりしています。ぜひ参加して、お絵描きAIを探ってみてはいかがでしょう。(teftef)
↓↓もしよろしければこの記事と開発の支援お願いいたします！
この記事が気に入ったらサポートをしてみませんか？