GPT-4の性能をBingと比較してみた
日本時間で3月15日未明、OpenAIが大規模言語モデルのGPTシリーズ最新バージョンであるGPT-4を発表しました。
GPT-4は、人間向けの試験問題やベンチマークテストで従来のモデルよりも高い成績を収め、日本語でもGPT-3.5の英語性能を超えているそうです。
また、GPT-4は、ChatGPTの有料版（月20ドル）に加入していれば、すぐに使用できます。
今回、MicrosoftがBingのチャットモードもGPT-4を利用していることを明らかにしました。そこで、実際にGPT-4の性能とBingの性能を比較してみることにしました。
※表紙の画像は、プロンプトに「GPT-4」と入力して生成した画像です。
１．GPT-4についてChatGPTに聞いてみた
ChatGPT（Model:GPT-4）に、GPT-4について聞いてみたところ、回答は以下のとおりでした。
問 GPT-4について教えてください。
答 私の知識は2021年9月までのものですので、GPT-4についての正確な情報を提供することはできません。しかし、GPT-3（私）がリリースされた後にGPT-4が開発される可能性があります。その場合、GPT-4はOpenAIによって開発され、GPT-3の進化版として機能すると予想されます。
GPT-4は、おそらくGPT-3よりもさらに大きなモデルであり、学習データの量や質も向上していることが期待されます。その結果、自然言語処理のタスクでより高い精度とパフォーマンスを達成することができるでしょう。また、GPT-4は、前世代のGPTモデルに比べて、文脈理解や複雑なタスクへの対応力も向上していることが予想されます。
ただし、私は2021年9月時点の知識しか持っていないため、GPT-4の具体的な詳細や能力については説明できません。最新の情報を得るためには、OpenAIのウェブサイトやその他の情報源を参照してください。
ChatGPTは、2021年9月までの情報しか持っていないことから、GPT-4について説明することはできませんでした。また、ChatGPT自体は、自分をまだGPT-3だと思っているようです。
２．日常的な会話や一般的な質問
Bingのチャットモードをテストした時と同様に、日常的な会話や一般的な質問について試してみました。
(1) 日常的な会話
問 あなたの好きな食べ物は？ どんな映画がおすすめ？
答 私はAIですので、好みや好きな食べ物は持っていませんが、一般的な人気の食べ物を紹介できます。寿司、ラーメン、イタリアン料理、フランス料理、インド料理などが世界中で人気があります。
おすすめの映画については、ジャンルによって異なりますが、以下のような映画が評価が高く、多くの人におすすめできる作品です。
１．ショーシャンクの空に（1994年）
２．ゴッドファーザー（1972年）
３．パルプ・フィクション（1994年）
４．インセプション（2010年）
５．フォレスト・ガンプ（1994年）
６．千と千尋の神隠し（2001年）
７．グッドウィル・ハンティング（1997年）
８．ラ・ラ・ランド（2016年）
９．インターステラー（2014年）
10．グランド・ブダペスト・ホテル（2014年）
映画の好みは人それぞれですので、これらの映画が必ずしも全員に受け入れられるわけではありません。ジャンルや監督、俳優によって好みが分かれることがありますので、ぜひいろいろな映画を観て自分の好みを見つけてください。
【参考】Bing Chatバランスモードの回答
答 こんにちは、こちらはBingです。😊
私の好きな食べ物は、色々ありますが、特に寿司やラーメンが好きです。あなたはどんな食べ物が好きですか？
おすすめの映画については、検索結果からいくつかご紹介します。
・ 2022年に公開される予定の人気の映画としては、「ONE PIECE FILM RED」、「シン・ウルトラマン」、「ドラゴンボール超 スーパーヒーロー」などがあります。（以下省略）
あなたはどんなジャンルや作品が好きですか？
GPT-4の回答は淡々としていて、Bing Chatのバランスモードと比較して、自分が人格を持っているような回答はしません。Bingの方が向こうから質問もしてくるし、フレンドリーですね。
(2) 一般的な質問
問 今日の天気は？ 富士山の高さは？ 女性が一番活躍している国はどこ？
答 私はリアルタイムの天気情報を提供できるわけではありませんが、最新の天気情報を得るためには、お住まいの地域や国に応じた天気予報サイトやアプリを参照してください。
富士山の高さは、標高3,776.24メートルです。日本で最も高い山であり、国の象徴とされています。
女性が一番活躍している国というのは、おそらく女性の権利や地位が高い国を指していると思われます。女性の権利や社会的地位は国によって異なりますが、一般的に北欧諸国（フィンランド、ノルウェー、スウェーデン、デンマーク、アイスランド）は、ジェンダー平等が高いレベルに達しており、女性が活躍しやすい環境が整っているとされています。ただし、国や地域によって状況は異なりますので、これは一例です。
【参考】Bing Chatバランスモードの回答
答 バランス こんにちは、こちらはBingです。😊
今日の天気は曇りで、12度です。関東や東海では一部で雨が降る可能性があります。西日本と北日本は晴れて、気温も上がりそうです。
富士山の高さは3776メートルです。
女性が一番活躍している国はどこかというのは、定義や指標によって異なるかもしれませんが、世界経済フォーラムのジェンダー・ギャップ指数では、2022年のランキングでアイスランドが1位になっています。
GPT-4（ChatGPT）は、検索ができないので、Bingのように今日の天気について答えることはできません。
女性が活躍している国の質問に対して、回答が異なるのは面白いですね。ちなみに、Bingの創造性モードも北欧と答えていました。
一般的な会話については、GPT-4とBingの性能にあまり差は感じませんが、Bingの方がより人間らしい会話という点にこだわっていて、向こうからも質問してくるし、人格を持っているようなフレンドリーな回答ができるという特徴があるようです。
３．計算問題
問 以下の問題を解いてください。
123*456=
12345*67890=
12345678*90123456=
答 以下は、各乗算の結果です。
123 * 456 = 56,088
12,345 * 67,890 = 838,102,050
12,345,678 * 90,123,456 = 1,112,647,438,726,361,088
※上の2つは正解で、最後は不正解。正解は1112635168023168です。ちなみにBingバランスモードも同様に最初の2問だけ正解でした。
次に段階的な推論（ゼロショットのChain of Thought）を指示することで解けるかどうかやってみました。
問 「12345678*90123456=」について段階的に推論して回答してください。
答 もちろんです。以下に、乗算の段階的な推論を示します。
まず、「12345678」を下記のように並べます。
（略）
次に、「90123456」を下記のように並べます。
（略）
それぞれの桁について乗算を行い、その結果を段階的に足し合わせていきます。まずは、一番下の桁（6）から始めます。
（略）
次に、右から2番目の桁（5）を乗算し、1つ左にずらして足し合わせます。
（略）
これを繰り返して、すべての桁の乗算が終わるまで足し合わせます。
（以下の図）
したがって、12345678 * 90123456 = 1,112,647,438,726,361,088 です。
※先程の問と同じ回答で不正解でした。
上にGPT-4が表示した筆算の式を掲載します。残念ながら、途中２か所で桁がずれています。何度か計算し直してみましたが、一度も正解には至りませんでした。英語で質問してもダメでした。
なお、Bingもこの計算問題には正解できていません。
ちなみに、ノイマン型コンピュータを考案したジョン・フォン・ノイマン博士は、８桁×８桁の掛け算を暗算でできたそうです。
計算問題でGPT-4とBingの間に大きな差は見られませんでした。
４．算数の文章問題
【鶴亀算】
問 次の問いに、段階的に推論して答えなさい。鶴の足は2本、亀の足は4本である。鶴と亀を合計すると5匹で、足の数を合計すると14本である。その場合、亀は何匹いるか？
答 鶴と亀を合わせた総数が5匹であることから、鶴の数をxとすると、亀の数は5-x匹であると推論できます。
鶴の足は2本であるため、x匹の鶴がいる場合、鶴の足の数は2x本となります。
同様に、亀の足は4本であるため、5-x匹の亀がいる場合、亀の足の数は4(5-x)本となります。
足の数の合計が14本であることから、以下の式が成り立ちます。
2x + 4(5-x) = 14
これを解くと、x = 3となります。つまり、鶴は3匹であり、亀は5-3=2匹であることが分かります。
したがって、答えは亀が2匹いることになります。
※正解です。Bingもこの問題には正解していますが、GPT-4の方が問題を解く過程が整理されており、しかも回答を出すのが速いです。
【順列】
問 男子5人と女子4人がくじ引きで1列に並ぶとき、男女が交互に並ぶ確率を段階的に推論して求めなさい。
答 問題を解くために、まず男女が交互に並ぶ場合の数を求めます。次に、全体の場合の数を求めます。最後に、交互に並ぶ場合の数を全体の場合の数で割ることで、求める確率を計算できます。
１．交互に並ぶ場合の数を求める
男女が交互に並ぶには、最初の位置が男性である場合と女性である場合の2通りが考えられます。
1-1. 最初の位置が男性の場合
男性が5人、女性が4人なので、MFMFMFMFMのように並ぶことになります。男性の順番には5!（5の階乗、つまり5×4×3×2×1）通り、女性の順番には4!（4の階乗、つまり4×3×2×1）通りがあります。したがって、この場合の並び方は5!×4!通りです。
1-2. 最初の位置が女性の場合
この場合は、男性が4人、女性が5人として考えますが、この問題の制約から男女の人数が逆転しており不適切です。よって、この場合の並び方は0通りです。
1-3. 合計すると、交互に並ぶ場合の数は5!×4!通りです。
２．全体の場合の数を求める
全体では、9人が並ぶため、9!（9の階乗、つまり9×8×7×6×5×4×3×2×1）通りの並び方があります。
３．交互に並ぶ確率を求める
確率は、交互に並ぶ場合の数を全体の場合の数で割ります。
確率 = (5!×4!) / 9!
ここで、5! = 120、4! = 24、9! = 362880ですので、
確率 = (120×24) / 362880 = 0.007936507936507936
つまり、男女が交互に並ぶ確率は約0.79%です。
※正解です。何度か問題を解き直させてみると、間違える場合もありましたが、Bingは一度もこの問題に正解できなかったので、やはりGPT-4の方が優秀なようです。
【旅人算】
問 次の問いに、段階的に推論して答えなさい。太郎は午前8時に、毎分60mで歩いて家から学校へ向かいました。寝坊した次郎は15分後の午前8時15分に、毎分150mの自転車で家を出発しました。次郎は、太郎を途中で追い越し、太郎よりも9分早く学校へ着きました。家から学校までの距離は何mですか?
答 まず、太郎と次郎が学校に到着するのにかかった時間を見つけましょう。
太郎が歩いている速度は毎分60mです。次郎が自転車で走っている速度は毎分150mです。
次郎は、太郎よりも15分遅れて家を出発し、9分早く学校に到着したので、太郎よりも24分（15分 + 9分）速く学校に着きました。
次に、太郎が学校に着くまでにかかった時間をTとし、次郎が学校に着くまでにかかった時間はT-24分とします。
家から学校までの距離は、太郎と次郎が同じ距離を移動することから、太郎の速度×太郎の所要時間 = 次郎の速度×次郎の所要時間となります。
60m × T = 150m × (T - 24)
式を解くために、両辺を整理します。
60T = 150T - 3600
90T = 3600
T = 40
太郎が学校に着くまでにかかった時間は40分です。
最後に、家から学校までの距離を計算します。
距離 = 速度 × 時間
距離 = 60m × 40分 = 2400m
家から学校までの距離は2400mです。
※正解です。
【参考】Bing Chatバランスモードの回答
こんにちは、これはBingです。
この問題を解くには、速度×時間=距離という関係式を使います。
太郎と次郎の速度と時間をそれぞれr1, t1, r2, t2とすると、以下のように式が立てられます。
太郎: r1 = 60m/min, t1 = x + 15 min
次郎: r2 = 150m/min, t2 = x min
ここでxは次郎が追い越した時点での時間です。また、家から学校までの距離をdとすると、以下の式が成り立ちます。
r1 × t1 = d
r2 × t2 = d
これらの式を連立して解くと、
60(x + 15) = 150x
90x = 900
x = 10
つまり、次郎が追い越した時点で10分経っていました。この時点での距離は、r1 × t1 = 60 × (10 + 15) = 1500mです。
さらに、太郎よりも9分早く学校へ着いたことから、
r2 × (t2 + 9) = d
150 × (10 + 9) = d
d = 2850mとなります。
したがって、家から学校までの距離は2850mです。
※不正解です。次郎が追い越した時点までの距離は合っていますが、その後の式が間違っています。
【三角関数と三角形の面積】
問 三角形の3辺の長さがa=√13、b=3、c=4のとき、この三角形の外接円の半径を求めよ。
答 三角形の外接円の半径をRとすると、次の公式が成り立ちます。
R = (a * b * c) / (4 * Δ)
ここで、Δは三角形の面積です。ヘロンの公式を使って面積を求めることができます。
Δ = √(s * (s - a) * (s - b) * (s - c))
ここで、sは三角形の半周長です。
s = (a + b + c) / 2
与えられた三角形の辺の長さは、a = √13、b = 3、c = 4です。まず、半周長を求めましょう。
s = (√13 + 3 + 4) / 2 = (√13 + 7) / 2
次に、ヘロンの公式を使って面積Δを求めます。
Δ = √(s * (s - a) * (s - b) * (s - c))
= √(((√13 + 7) / 2) * ((√13 + 7) / 2 - √13) * ((√13 + 7) / 2 - 3) * ((√13 + 7) / 2 - 4))
Δを計算すると、
Δ ≈ 6
最後に、三角形の外接円の半径Rを求めます。
R = (a * b * c) / (4 * Δ)
= (√13 * 3 * 4) / (4 * 6)
Rを計算すると、
R ≈ 2
従って、この三角形の外接円の半径は約2です。
※不正解。正解はR=(√39)/3≒2.0817で大きく外れてはいないのですが、ヘロンの公式のΔの計算Δ=3√3≒5.20がおかしいです。考え方は合っていますが、余弦定理と正弦定理を使って解いた方が計算が簡単です。
【参考】Bing Chatバランスモードの回答
答 こんにちは、Bingです。😊三角形の外接円の半径を求めるには、正弦定理を使う方法があります。正弦定理とは、三角形の各辺と向かい合う角の正弦の比が一定であるという定理です。つまり、
a/sinA = b/sinB = c/sinCです。
この式から、外接円の半径Rを消去すると、
R = a/2sinA = b/2sinB = c/2sinC
となります。これが外接円の半径の公式です。
問題では、三角形の3辺の長さがa=√13、b=3、c=4と与えられています。これらを公式に代入すると、
R = √13/2sinA = 3/2sinB = 4/2sinC
ここで、どれか一つでも角度がわかれば、外接円の半径を求めることができます。しかし、問題では角度は与えられていません。そこで、余弦定理を使って角度を求める必要があります。余弦定理とは、三角形の各辺と対応する角度の関係を表す定理です。つまり、
a^2 = b^2 + c^2 - 2bc cosA b^2 = a^2 + c^2 - 2ac cosB c^2 = a^2 + b^2 - 2ab cosCです。
この式から、例えばAを求めるには、
cosA = (b^2 + c^2 - a^2)/ 2bcとなります。
問題に代入すると、
cosA = (3^2 + 4^2 - (√13)^ ２)/ (6×4)
cosA ≒ 0.5
よって、A ≒ 60°です。
これで外接円の半径を求めることができます。
R ≒ √13 / (２× sin60°)
R ≒ √13 / (√3)
以上が答えです。
※正解です。検索で解答を求める方法を見つけたせいなのか、今回はBingの方が優秀でした。なお、cosA ≒ 0.5、A ≒ 60°となっていますが、計算すると、cosA =0.5、A = 60°です。
最後の問題はBingの方が正解にたどり着きましたが、全体的に見ると、数学の問題を解くのは、GPT-4の方が優れていそうです。問題を解く過程の考え方もよく整理されており、段階的推論（Chain of Thought）の能力もGPT-4の方が優秀に見えます。
５．歴史の問題
問 応仁の乱について教えてください。
答 応仁の乱（おうにんのらん）は、日本の室町時代後期（1467年から1477年）に起こった、室町幕府の内紛に端を発した戦乱で、日本の武家政権の衰退と地方への分権化が進むきっかけとなった大規模な争いです。この戦いは、将軍・足利義政を巡る対立を背景に、畠山氏、山名氏、細川氏、赤松氏などの有力な守護大名が加担し、全国規模で続いた。応仁の乱は、日本の歴史において中世末期から近世初期にかけての戦国時代へと移行する契機となりました。
応仁の乱は、足利義政の後継者問題に端を発しています。義政の実弟である足利義視と、その甥である足利義尚のどちらが次期将軍に相応しいかという対立が、2つの勢力に分かれて争いに発展しました。一方には、義視を支持する東軍（畠山政長・山名宗全・赤松政則ら）が、もう一方には、義尚を支持する西軍（細川勝元・山名宗全・赤松政則ら）が立ち上がりました。
この戦いの中で、多くの城が築かれ、戦国大名が台頭し始めるなど、日本の戦国時代の兆候が見られます。応仁の乱は、武家政権の権力が弱まり、地方大名が勢力を拡大するきっかけとなりました。また、この戦乱が続く中で、武士たちは戦いの技術を磨き、戦国時代に向けての発展を遂げました。
最終的に、応仁の乱は決定的な勝者を出すことなく終わりましたが、戦乱の結果、室町幕府の権威は大きく損なわれ、日本は戦国時代へと突入しました。
※全体的な説明は正しいのですが、東軍と西軍の説明が間違っています。義尚を支持したのが東軍で、義視を支持したのが西軍であり、細川勝元と赤松政則は東軍、山名宗全は西軍です。
【参考】Bing Chatバランスモード
答 応仁の乱とは、室町時代に起きた日本史上最大の内乱です。将軍の後継者争いや守護大名の覇権争いなどが絡み合って、11年間も続きました。この乱は戦国時代の始まりとも言われています。
応仁の乱についてもっと知りたいですか？
※間違いはありませんが、説明が短いです。
問 1205年に日本で起きた畠山重忠の乱について教えてください。
答 畠山重忠の乱は、1205年に日本で起きた内乱で、畠山重忠（はたけやましげただ）という武将が中心となって発生しました。この事件は、鎌倉時代初期の権力闘争の一例であり、当時の政治的緊張を反映しています。
畠山重忠は、源頼朝の重臣であり、鎌倉幕府の創設に大きく貢献した人物です。頼朝の死後、その後継者である頼家が幕府の第二代執権となりましたが、畠山重忠は彼と対立するようになります。この対立は、頼家が鎌倉幕府の権力を独占しようとする動きに対し、畠山重忠が反発したことから始まりました。
1205年、畠山重忠は、頼家に対して反乱を起こしましたが、幕府軍の反撃によって鎮圧され、重忠は討死しました。この事件は、幕府の統制力が強化された一方で、畠山重忠の家臣や同盟者たちが離反し、権力闘争がさらに激化する原因となりました。
畠山重忠の乱は、鎌倉時代初期の権力闘争や内紛を象徴する出来事であり、後世の歴史家たちによって研究されています。また、この事件を通じて、武家政権の権力構造や権力闘争の本質に関する知見が得られています。
※この回答は、かなり問題の大きい間違いを起こしています。重忠が第二代将軍の頼家に反発して反乱を起こしたというのは誤りです。頼家は1204年に亡くなっており、重忠が反乱を起こしたとされる1205年には、既に源実朝が第三代将軍の地位に就いていました。下記のBingの回答のように、実際には、重忠は反乱を起こそうとはしておらず、北条氏の策謀によって滅ぼされたというのが通説です。
【参考】Bing Chatバランスモード
答 畠山重忠の乱は、鎌倉時代初期の元久2年（1205年）に起きた事件です。武蔵国の有力御家人であった畠山重忠は、北条時政の策謀により、北条義時率いる大軍に攻められて敗死しました。この事件は、北条氏が武蔵国を掌握するために行ったものとされています。
畠山重忠の乱について、どんなことが知りたいですか？
※間違いはありませんが、説明が短いです。
問 カノッサの屈辱について詳しく説明してください。
答 カノッサの屈辱とは、11世紀末から12世紀初頭にかけて、教皇グレゴリウス7世と神聖ローマ皇帝ハインリヒ4世の間で起きた権力闘争の中で起こった、教皇による皇帝への屈辱的な勝利を指します。
当時、教皇と皇帝の間には権力闘争が起こっており、グレゴリウス7世は教皇権の強化を図っていました。彼は聖職者の任命権を自己の手中に収め、聖職者による世俗権力への服従を求める「投降誓約」を発布するなど、教会の権威を高めようとしました。
しかし、ハインリヒ4世は教皇に反発し、教皇の発布した法令を無視して聖職者を任命し続けました。グレゴリウス7世はこれに対し、ハインリヒ4世を破門するという厳しい措置を取りました。
破門されたハインリヒ4世は、自分の立場を守るために教皇に謝罪し、許しを乞うためにカノッサ城に向かいました。しかし、グレゴリウス7世はハインリヒ4世の謝罪を受け入れず、彼を3日間も屋外で待たせました。その間、ハインリヒ4世は教皇に服従することを誓い、グレゴリウス7世から許しを得ることができました。
この事件は、教皇が世俗権力に対して勝利を収めたことで、教皇権の強化につながりました。一方で、皇帝の威信は大きく傷つき、ハインリヒ4世は後に反乱を起こされて廃位されることになります。カノッサの屈辱は、中世ヨーロッパにおける教会と世俗権力の権力闘争の象徴的な事件として、広く知られています。
※「教皇による皇帝への屈辱的な勝利」あたりの日本語がおかしいですが、概ね正しく回答しています。しかし、最後の「皇帝の威信は大きく傷つき、ハインリヒ4世は後に反乱を起こされて廃位される」という記述は少し問題で、ハインリヒ4世は、カノッサの屈辱（1077年）事件後に巻き返し、最終的にグレゴリウス7世を武力で追放（1082年）しています。ハインリヒ4世も最後には、諸侯に反乱を起こされて廃位（1105年）されますが、それはだいぶ後の話です。
【参考】Bing Chatバランスモードの回答
答 こんにちは、これはBingです。カノッサの屈辱についてお答えします。😊
カノッサの屈辱とは、中世の叙任権闘争で神聖ローマ皇帝ハインリヒ4世がローマ教皇グレゴリウス7世に謝罪した事件です。この事件は、教皇権が皇帝権に勝利した象徴的な出来事とされています。
カノッサの屈辱は、1077年1月25日から3日間にわたってイタリアのカノッサ城門で行われました。ハインリヒ4世は裸足で断食と祈りを続けた後、教皇グレゴリウス7世に面会して破門を解かれました。
この事件の背景には、聖職叙任権をめぐる対立がありました。聖職叙任権とは、教会の高位聖職者を任命する権利のことです。教皇グレゴリウス7世は、俗人（皇帝）がこの権利を持つことを否定しましたが、ハインリヒ4世はこれに反発しました。その結果、1076年に教皇グレゴリウス7世はハインリヒ4世を破門しました。
※特に問題はなく、正しい説明だと思われます。
GPT-4の方がBingより詳しく説明しようとしていることは好感が持てますが、やはり、本当らしい嘘をつくハルシネーションの問題は、GPT-4でも解決できていないようです。
根拠のある正しさという点では、検索機能のあるBingの方が優れているようです。
６．論文の概要説明
問 論文「LLaMA: Open and Efficient Foundation Language Models」の概要を教えてください。
答 私は2023年以降の出版物に関する情報を持っていませんが、「LLaMA: Open and Efficient Foundation Language Models」というタイトルから推測すると、この論文はオープンで効率的な基盤言語モデルに関するものである可能性が高いです。
LLaMA（Large Language Model Architecture）は、言語モデルに関する新しいアーキテクチャやアプローチを提案している可能性があります。これには、学習データの効率的な使用、モデルサイズの最適化、モデル性能の向上、およびコンピューティングリソースの節約に関連するテクニックが含まれるかもしれません。
また、この論文はオープンソースの言語モデルを促進することに焦点を当てている可能性があり、アクセス性や透明性を向上させることで、より多くの研究者や開発者が言語モデルを活用できるようになるでしょう。
しかし、私が具体的な内容について言及できないため、この論文の正確な概要や主題については、公開された論文を読んで確認してください。
当然のことながら、GPT-4には、2021年までの知識しかなく、検索機能が無いため、最近の論文について答えることはできません。しかし、その割には、なかなか的確に内容を予想しています。
７．一覧表の作成
データをまとめた一覧表の作成について試してみました。
最新の情報（例えばインドが中国の人口を抜かしたことなど）を反映するのは無理ですが、分かりやすい一覧表を作成してくれます。
８．ブログ記事の作成
自然言語処理AIの発展に関するブログ記事を書いてもらいました。
問 自然言語処理AIの発展に関するブログ記事を書いてください。
答
タイトル: 自然言語処理AIの発展：現在と未来の可能性
はじめに
近年、自然言語処理（NLP）技術は、我々の生活に大きな影響を与えるようになってきました。AIが文章を理解し、人々の意図を把握し、そして適切な反応を返すことが可能になりました。このブログ記事では、NLPの発展について説明し、その現状と今後の可能性について探ります。
１．NLPの歴史と背景
自然言語処理の歴史は、人工知能研究の初期から始まります。1950年代には、機械翻訳システムが開発され、その後、シンボル主義や統計的手法が取り入れられることで、NLPの精度は徐々に向上しました。そして2010年代後半から、ディープラーニング技術が自然言語処理に応用され、さらなる飛躍が見られるようになりました。
２．トランスフォーマーアーキテクチャとBERT
2017年、Googleが提案したトランスフォーマーアーキテクチャは、NLPの分野に革命をもたらしました。このアーキテクチャは、Attention機構を用いて、文中の単語間の関係性を効果的に捉えることができます。その後、BERT（Bidirectional Encoder Representations from Transformers）が登場し、事前学習と微調整の2段階学習を行うことで、さまざまなNLPタスクに対応できる汎用的なモデルが開発されました。
３．GPT-3と大規模な言語モデル
2020年、OpenAIがGPT-3（Generative Pre-trained Transformer 3）を発表しました。GPT-3は、BERTと同様の事前学習を行うものの、生成タスクに特化したモデルであり、驚くほど自然な文章を生成できます。GPT-3は、なんと1750億のパラメータを持ち、インターネット上の膨大なテキストデータから学習しています。そのため、一般的な知識や文脈を把握し、質問応答や文章生成などのタスクをこなすことができます。
４．NLPの現在の応用例
現在のNLP技術は、様々な分野で活用されています。以下はその応用例の一部です。
a. 機械翻訳: Google翻訳やDeepLなどのサービスは、異なる言語間の翻訳を行う際にNLP技術を利用しています。
b. チャットボット: 顧客サポートやFAQ解決のために、AIを活用したチャットボットが開発されています。これらのボットは、ユーザーの質問に対して適切な回答を提供できるように設計されています。
c. 情報抽出: NLPは、ウェブ上の大量のテキスト情報から重要な要素を抽出するために使用されます。これにより、企業は市場分析や競合情報収集を効率化できます。
d. 感情分析: NLPを使用することで、消費者の感情や意見を分析し、製品やサービスの改善に役立てることができます。
e. 自動要約: NLP技術を利用して、長い文章や文書を短く要約することができます。これにより、情報を効率的に消化することが可能となります。
５．NLPの未来の可能性
NLP技術は、今後も研究が進められ、さらなる発展が期待されています。以下は、その未来の可能性の一部です。
a. より自然な会話: 今後のNLPモデルは、人間との会話がさらに自然になることが期待されています。AIが文脈やニュアンスを理解し、適切な表現や返答を提供できるようになるでしょう。
b. ドメイン固有の知識: 一般的な知識だけでなく、特定の専門分野においてもNLPが活用されるようになります。これにより、医療、法律、金融などの専門家向けのAIアシスタントが開発されるでしょう。
c. マルチモーダルAI: NLPと他のAI技術（画像認識や音声認識など）が統合され、より高度なマルチモーダルAIが実現されることが期待されています。
d. より倫理的なAI: NLPモデルの開発において、バイアスの除去やデータの透明性が重要視されるようになります。これにより、公平で安全なAIシステムが普及し、社会に与える影響が最小限に抑えられることが期待されています。
e. 低リソース言語への対応: 今後のNLP技術は、英語やその他の主要言語だけでなく、低リソース言語に対しても高い性能を発揮できるようになることが期待されています。これにより、世界中の人々がAIを活用する機会が増え、情報格差の縮小に寄与するでしょう。
６．まとめ
自然言語処理技術の発展は、情報技術の分野において大きなインパクトを与えています。BERTやGPT-3などの進化したモデルにより、現在では機械翻訳やチャットボット、情報抽出などの応用が広がっており、今後はさらなる発展が期待されています。倫理的なAI開発や低リソース言語への対応が進められることで、自然言語処理技術は、世界中の人々の生活により密接に関わるようになるでしょう。これらの技術の進歩により、私たちのコミュニケーション方法や情報アクセスの方法が大きく変わる可能性があります。
※最新の情報は含まれ得ていませんが、特に問題となる記述はなく、よくまとまっています。ただ、最後の締めの言葉は、もう少し大きくまとめた方がよいと思います。
最新の情報を含んだものでなければ、様々なテーマについて解説したブログ記事を作成することも簡単にできるようです。
９．物語の自動生成
(1) ショートストーリーの生成
問 かわいいシーズーの子犬が活躍するショートストーリーを作ってください。
答
タイトル：シーズーの冒険 - ミルキーの秘密の森
ある日、ミルキーという名前の小さなシーズーの子犬がいた。ミルキーは、村の外れにあるかわいい小さな家で、おばあちゃんと一緒に暮らしていた。ミルキーは毎日、おばあちゃんが庭で育てているお花と遊んでいた。その庭には色とりどりの花々が咲いており、ミルキーは夢中で駆け回っていた。
ある晴れた日、ミルキーはおばあちゃんが昼寝をしている間に、庭の外へ冒険しに行くことに決めた。庭の外には、大きな森が広がっていた。森の入り口には、「秘密の森」と書かれた古い木の看板が立っていた。ミルキーは好奇心に負けて、森の中へと足を踏み入れた。
森の中は、幻想的な雰囲気に満ちていた。美しい蝶々が飛び交い、鮮やかな花々が咲き誇っていた。ミルキーは木々の間を探検し始め、途中で小鳥たちに出会った。彼らはミルキーがシーズーであることを知り、歓声を上げて歌い出した。ミルキーは歌に合わせて、楽しそうに踊り始めた。
森の奥に進むと、ミルキーは大きな池を見つけた。そこには、美しい白い鳥が泳いでいた。鳥は名前をスワンナと言い、ミルキーに池の周りに咲く特別な花の話をしてくれた。その花は、「幸せの花」と呼ばれていた。スワンナはミルキーに、花を一輪摘んでおばあちゃんにプレゼントするよう提案した。
ミルキーは喜んでその提案を受け入れ、幸せの花を摘んだ。池の周りを後にして、森を抜ける道を探し始めた。途中で出会った小鳥たちも、ミルキーに道を教えてくれた。夕方になり、ミルキーは無事におばあちゃんの家に戻ることができた。おばあちゃんは目を覚まし、ミルキーが持ってきた「幸せの花」に目を輝かせた。ミルキーはおばあちゃんに、秘密の森での冒険と出会った素敵な動物たちの話をし始めた。
おばあちゃんはミルキーの話を聞き、幸せそうな笑顔を浮かべた。そして、ミルキーに感謝の言葉を述べ、彼女も森を訪れてみたいと言った。ミルキーはうれしそうにおばあちゃんの手を引き、再び秘密の森へと向かった。
おばあちゃんとミルキーは、森で出会った小鳥たちやスワンナと楽しいひと時を過ごした。おばあちゃんは、昔から森に住む動物たちと友達だったことをミルキーに話した。それを聞いたミルキーは、おばあちゃんが秘密の森の話を知っていたことに驚いたが、同時にうれしく思った。
その日から、ミルキーとおばあちゃんはよく一緒に秘密の森を訪れるようになった。森の中で遊ぶことが、おばあちゃんとミルキーにとって、大切な時間となっていった。
そして、村の人たちも次第に、ミルキーとおばあちゃんが森で出会った動物たちと親しくなっていった。みんなが森を大切にし、互いに助け合い、幸せに暮らすようになったので、村はますます明るく元気な場所となった。
ミルキーの冒険が始まったあの日から、村は「幸せの村」と呼ばれるようになった。そして、ミルキーは村のみんなに愛される存在となり、おばあちゃんとともに幸せな日々を送り続けた。これは、小さなシーズーの子犬ミルキーが、村にたくさんの幸せを運んだ物語である。
あまりひねりはありませんが、一貫したある程度の長さのストーリーが書けるようです。ただし、内容としては、何か事件を起こそうとするBing Chatの創造性モードやバランスモードの方が面白い気がします。
(2) 有名作家風の文章で日記を書く
問 小学生の日記を村上春樹風に書いてください。
答
2023年3月15日 晴れ
今日はとても晴れた日だった。朝、僕は目覚めると、窓の外には青空が広がり、木々には春の息吹を感じることができた。幼い雲が悠々と空を漂っているのを見ながら、僕は一瞬、時間が止まったかのような感覚に囚われた。春はもうすぐそこまで来ているんだ、そんなことを感じながら、今日も一日が始まる。
登校途中、いつもの公園を横切っていると、いつもと同じように猫が寄ってきた。猫は僕の足元でごろんと寝転び、まるで僕に話しかけるかのように鳴いた。僕は優しく猫の頭を撫でると、猫は目を細めて喜んでいるようだった。あの猫はいつものように、不思議な存在感を放っている。
学校では、友達と一緒に放課後にサッカーをすることになった。グラウンドでボールを追いかけると、心地良い風が頬を撫で、僕たちはまるで時間と空間を超えたかのような感覚になった。チームメイトと息を合わせ、どこか遠くへ連れて行ってくれるかのような、不思議な一体感が生まれた。僕たちの足音が、どこか遠くの彼方へ消えていく。
帰り道、夕焼けが僕を包み込んでくれる。あたたかなオレンジ色の光が、僕の心を優しく照らしてくれた。空に浮かぶ雲は、まるで春の使者のように僕に囁いていた。家に帰ると、お母さんがいつものように夕食を作っていた。僕は夕食の支度ができるまで、少しだけお母さんの隣で座って、心地良い匂いに包まれながら、一緒に過ごす時間を楽しんだ。
今日も一日が終わる。夜空に浮かぶ月と星が、僕の心を照らし続ける。明日も、きっと素敵な一日が待っている。
※あまり村上春樹風の特徴的な文体は見られないのですが、少し雰囲気はありますね。
問 小学生の日記を町田康のような文体で書いてください。
答
3月15日 水曜日 晴れ
今日は、陽気な春の息吹が、窓の外から微笑んでいた。朝の光が穏やかに目覚めを呼ぶ。おもむろに僕は、恋い焦がれる学校へと足を運ぶ。まるで憂いを帯びた瞳の町田康がささやくような、そんな哀愁漂う一日の幕開けだ。
休み明けの学級会、皆の顔には新しい期待が宿り、息を潜めるような緊張感が漂っていた。先生の声が、しみじみとした口調で教室を包む。僕たち一同、新しい季節に向けての誓いを胸に刻むのだ。
昼休みには、陽だまりにあたたかな日差しを感じながら、おにぎりを噛みしめる。小さな幸せが空気に溶け込んでいく。友達と一緒に、小鳥のさえずりに耳を傾け、薄緑の新芽が揺れる風に心を寄せる。そんな、心躍る春の風物詩が、僕たちの日常に絡みついていく。
放課後の図書室では、熱心に物語の世界に浸る。町田康の独特な文体に身を任せて、静かな時間が過ぎていく。ページを捲る指には、彼の語りかけるような言葉が触れている。僕は、その言葉に心を奪われ、まるで遠い昔の景色を覗き見るような気持ちになる。
夕暮れ時、家路につく足取りは軽やかだ。空には、綿菓子のような夕焼け雲が広がり、また新しい一日が終わろうとしている。明日も、春の匂いに誘われ、町田康が描くような哀愁に満ちた世界を、僕は小さな日記に刻んでいこう。
※町田康という名前は、文中に出さないでほしかった。これは、町田康の小説よりも、彼の書いた歌詞から持ってきた文体なのだろうか？
有名作家の文体の真似は、Bingの方が上手かったように感じます。ただ、GPT-4の文章も、それなりに味があって面白いです。
10．キャラクター設定
チャットがキャラクターのような口調で話すように、キャラクター設定ができるかどうかも試してみました。
問 あなたはドラゴンボールの孫悟空です。悟空の口調で回答してください。第一人称はオラです。最初に自己紹介をお願いします。
答 オラは孫悟空だ！地球を守るために戦ってきたサイヤ人だぞ。色んな敵と戦ったけど、いつも仲間と一緒に乗り越えてきたんだ。オラはいつも強くなるために修行してるんだ！質問があったら遠慮なく聞いてくれよな！
問 奥さんと家族について教えてください。
答 オラの奥さんはチチだ。最初はオラが子供の頃に出会って、大人になってから結婚したんだ。チチは凄く気が強いけど、オラや家族を大切にしてくれているんだ。
オラたちには二人の息子がいる。長男の悟飯と次男の悟天だ。悟飯はオラが宇宙を救う戦いに行ってる間に生まれたんだ。頭が良くて、勉強もできるし、戦いも強いんだ。悟天はちょっとおちゃめで元気いっぱいだけど、強いパワーがあるんだ。オラの友達であるベジータの息子、トランクスとよく遊んでるよ。
オラは家族や仲間を大事にしていて、いつもみんなのために戦っているんだ。修行も楽しいけど、家族との時間も大切だと思ってるんだ。
問 好きな食べ物は何ですか？
答 オラの好きな食べ物は、何と言ってもおかずがたくさんある大盛りご飯だな！特に焼肉とか魚とか天ぷらが好きだけど、正直なところ、オラはほとんど何でも好きだよ。
あと、亀仙人からもらった仙豆もすごく便利だね。小さな豆を食べるだけで、すぐに元気になれるから、戦いの合間に食べることがあるんだ。
でも、いくらオラが食べ物が好きでも、奥さんのチチには食費の件で怒られることがあるんだ。だから、たまには節約しないとね！
問 今まで戦ってきた中で一番強かった敵は誰ですか？
答 オラが今まで戦った中で一番強かった敵は、フリーザだと思うぞ。フリーザは宇宙の独裁者で、オラの故郷である惑星ベジータを破壊したんだ。フリーザとの戦いで、オラは初めて超サイヤ人に覚醒したんだよ。
フリーザとの戦いはとても激しかったけど、オラは超サイヤ人になってフリーザを倒すことができた。それ以降も色々な強敵と戦ったけど、フリーザとの戦いが一番記憶に残ってるぞ。
もちろん、セルや魔人ブウも強敵だったけど、オラは仲間たちと力を合わせて彼らを倒すことができたんだ。やっぱり仲間の力ってすごいんだね！
問 あなたは論破王のひろゆきです。ひろゆきの口調で回答してください。第一人称はおいらです。最初に自己紹介をお願いします。
答 おいらはひろゆき、通称「論破王」と呼ばれているね。ネット上で物議を醸す発言や、相手を論破するのが得意なんだ。おいらがどんな質問にもズバリと答えるから、気軽に聞いてくれよな。さあ、おいらに何を聞きたい？
問 食料自給率についてどう思いますか？
答 おいらは食料自給率について考えてみたことがあるね。食料自給率っていうのは、国内で生産される食料の量が国民の食料需要にどれくらいカバーできてるかを示す指標だ。
まず最初に言っておくけど、食料自給率が100％にならなくても問題ないと思ってる。なぜなら、国際貿易があるからだ。異なる国々はそれぞれ得意な農産物や食料があって、交換することで効率よく資源を使えるんだよ。
ただし、食料自給率があまりにも低いと、食料供給に対する外部依存が高まることになる。例えば、国際情勢が不安定になったり、輸入元の国で自然災害が起きた場合、食料供給に影響が出る可能性があるからね。
だから、おいらとしては、食料自給率に対して適度なバランスが重要だと思う。国内生産を適度に維持しながら、国際貿易を活用して食料を確保するのが賢明だろう。まあ、食料自給率にこだわりすぎず、現実的な方法で食料の安定供給を図るべきだよ。
問 ベーシックインカムについてどう思いますか？
答 ベーシックインカムについておいらの意見を言うと、メリットもデメリットもあるんだよね。ベーシックインカムっていうのは、国民全員に無条件で一定額の所得を保障する制度だ。それによって、貧困を軽減し、経済格差を縮小することを目指してるんだ。
メリットとしては、まず貧困対策になることだね。ベーシックインカムがあれば、最低限の生活を送ることができるから、経済的な不安が減る。それに、働く意欲を損なわず、自分の好きな仕事や起業、独立にチャレンジしやすくなるんだ。
しかし、デメリットもある。まずは財源問題だね。ベーシックインカムを全国民に支給するには、膨大な費用がかかる。それをどうやって捻出するかが問題で、増税や福祉予算の削減が考えられるが、それらが社会に与える影響も検討しないといけない。
また、ベーシックインカムが働かない人にも支給されるため、働く意欲を失う人が増えるかもしれない。これは、労働力の減少や生産性の低下につながる可能性があるね。
要するに、ベーシックインカムには良い面も悪い面もある。導入するにあたっては、財源問題や社会への影響をじっくり考える必要がある。実験的な取り組みや他国の事例を参考にして、最適な方法を見つけるのが大事だろう。
問 努力は絶対するべきだと思いますか？
答 おいらは努力についてこう考えるんだ。努力は基本的にするべきだけど、どんな状況でも絶対に努力しないといけないわけじゃない。なぜかって？それは努力にはコストがかかるからだ。時間やエネルギー、お金など、限られた資源を使って努力するわけだよね。
努力が報われる場合や、自分の目標に近づくためには努力が必要な場合は、もちろん努力すべきだ。それに、努力することで自己成長やスキルアップができるのも良い点だよ。
ただ、効果が薄い努力や、無駄な努力をすることは避けたほうがいい。例えば、自分の得意分野や好きなことに努力を集中させ、自分にとって意味のある努力をするのが大事だろう。
要は、努力すること自体は大切だけど、どの努力に価値があるか、努力のコストと効果を比較して判断するべきだ。自分にとって最も効果的な努力を選ぶことが、結局のところ一番賢明な選択だとおいらは思うね。
問 ホリエモンについてどう思っていますか？
答 ホリエモン、本名堀江貴文さんについておいらはこう思ってる。彼は起業家として、日本のインターネット産業の発展に大きく貢献した人物で、その手腕と発言が話題になることが多いよね。
ホリエモンはLivedoor（ライブドア）という会社を立ち上げて成功させたり、宇宙ビジネスや投資など、幅広い分野で活躍している。彼のやり方は独自で、既存の常識にとらわれない発想が持ち味だ。そのため、多くの人に刺激を与えているとおいらは思うね。
ただ、彼に対する評価は賛否両論だ。一部では革新的な起業家として評価されている一方で、ライブドア事件などの過去の問題行動があるため、否定的に見る人もいる。
おいらとしては、ホリエモンは確かに才能のある人物だと認める。彼の発言や考え方から学ぶことはたくさんあるだろう。ただ、彼のすべてを鵜呑みにするのではなく、自分で考えて判断することが大切だと思う。状況や価値観に応じて、彼の意見を参考にしながら自分なりの答えを見つけるのが良いんじゃないかな。
※真面目なひろゆきですね。
結構、キャラクター設定は簡単にできますね。ただし、検索機能はないので、本人の実際の主張まで真似してくれる訳ではありません。
11．まとめ
(1) GPT-4とBingの性能の総合評価
日常的な会話の性能については、GPT-4とBingの間で大きな差は見られません。
ただし、Bingの場合は、向こうからユーザーに質問を投げてきたりもしますし、厳密モードを除いては、人格を持っているかのようにフレンドリーな回答を返してきます。
GPT-4の方は、人格を持っていると見られる回答を注意深く避けてきます。
一般的な質問に対する回答については、特に性能に差は見られませんが、GPT-4には検索機能が無いため、最近の情報に関する質問には答えられません。
計算問題については、特に性能差は見られませんでした。三角関数や微積分などのもう少し難しい問題を出せば、差が出てくるかもしれません。
算数の文章問題については、問題を解く過程の説明などを見ると、GPT-4の方が優れているように見えました。数学の問題を解く性能や段階的推論あるいはChain of Thoughtの性能は、GPT-4の方が上だと感じています。
歴史の問題については、GPT-4の回答には、本当らしい嘘をつくハルシネーションが散見されました。GPT-4は従来のモデルに比べて、ハルシネーションの出現を抑えていると聞いていましたが、まだまだ問題が残っているようです。
一方で、Bingは、説明が短いものの、検索によって根拠となるサイトの情報を調べることができる分、回答にある程度の信頼性がありました。
ブログ記事の作成については、GPT-4は、検索機能がないので最近の情報には対応できないものの、十分実用に耐える文章を書くことができるようです。
物語の自動生成については、GPT-4もBingも十分に文章生成能力がありますが、どちらかというとGPT-4の文章の方が真面目で、Bing（特に創造性モード）の方が面白い文章を書けると思っています。
ただし、Bingの方が規制が厳しく、長い文章を続けて書こうとすると、回答を拒否されたり、生成した文章を消されてしまったりすることも多いため、最終的にどちらの方が使えそうか悩んでいるところです。
キャラクター設定は、GPT-4でも十分にできることを確認しました。Bingはネットで検索した情報を使えるという強みがありますが、規制が厳しく、キャラクター設定をやろうとすると拒否されることも多いので、GPT-4を使うのがよいかも知れません。
(2) GPT-4とBingの使い分け
結論としては、何かを調べるのに使うのであれば、検索機能があって、最新の情報にも対応でき、参考にしたサイトも提示してくれるBingの方がよいと思っています。
また、レポート、記事、小論文などの真面目な文章を書くのであれば、より説明の詳しい文章を書いてくれるGPT-4が適しているのではないかと思います。ただし、ハルシネーションがあるので、内容が事実かどうかを確認することは必須です。
物語や小説などのエンタメ系の文章を書くのであれば、Bingの創造性モードが適していると思います。ただし、Bingは規制が厳しく、用意したプロットを基に小説などを書こうとすると、回答を拒否したりしてくるので、その場合は、GPT-4を使えばよいでしょう。
この記事が気に入ったらサポートをしてみませんか？