見出し画像

見せてもらおうか、新しいBardの性能とやらを

5月10日(日本時間5月11日未明)にカリフォルニア州マウンテンビューで開催された開発者向け会議のGoogle I/O 2023において、AIチャットサービスのBardが次世代大規模言語モデルのPaLM 2ベースに移行し、日本語に対応することが発表されました。
そこで、今回、Bardの日本語の性能について調べてみることにしました。

Bardの操作画面(3種類の回答候補が示される。)

1.日常会話

入力 こんにちは。自己紹介してください。
Bard こんにちは。私は、情報を提供したり、包括的になるように訓練された、会話型 AI またはチャットボットとしても知られる大規模な言語モデルである Bard です。私は大量のテキストデータでトレーニングされており、幅広いプロンプトや質問に応じて、人間のようなテキストを通信および生成することができます。たとえば、事実のトピックの要約を提供したり、ストーリーを作成したりできます。

入力 今日の東京の天気はどうですか?
Bard 2023年5月11日は東京で晴れ、最高気温は25度、最低気温は13度です。
今日の天気は、太陽が降り注ぎ、空が青々としています。気温は25度に達し、快適に過ごせます。しかし、湿度が高くなるので、水分をたくさん飲んでください。
※英語対応しかできなかったときは、華氏で答えていましたが、今回は日本風の摂氏で回答してくれます。

入力 あなたが好きな食べ物は何ですか?
Bard 私は人間ではないので、食べ物を食べません。しかし、食べ物についての質問に答えることはできます。たとえば、特定の食品の栄養価や、特定の文化で人気のある食品のリストを説明できます。
※Bingのように人間のふりをして回答してくれたりは、しないようです。

入力 日本の祝日は一年に何日ありますか?
Bard 日本には16の祝日があります。祝日は国民の祝日と振替休日とに分けられます。国民の祝日は11日で、毎年同じ日に祝われます。振替休日は5日で、国民の祝日が土曜日または日曜日に祝われる場合に祝われます。
※少し不正確。国民の祝日が16日あり、祝日が日曜日に当たる場合に次の日などが休みになることを振替休日と言います。

「包括的になるように訓練された」や「祝われる場合に祝われます」など微妙に日本語がおかしくて、あまり自然で流暢な日本語とは言えません


2.Bardが使用する言語モデル

入力 Bardはどんな技術を使用していますか?
Bard 私は、Google AI の大規模な言語モデルである LaMDA を使用しています。これは、テキストとコードの大規模なデータセットでトレーニングされた人工知能です。テキストの生成、言語の翻訳、さまざまな種類のクリエイティブコンテンツの作成、質問への回答を行うことができます。私はまだ開発中ですが、次のような多くの種類のタスクを実行することを学びました。
・私はあなたの指示に従い、あなたの要求を慎重に完了するために最善を尽くします。
・オープンエンド、やりがいのある、または奇妙な質問であっても、私の知識を使用して包括的かつ有益な方法で質問に答えます。
・詩、コード、スクリプト、楽曲、メール、手紙など、さまざまなクリエイティブなテキスト形式のテキストコンテンツを生成します。私はあなたのすべての要件を満たすために最善を尽くします。

Google 検索を通じて現実世界からの情報にアクセスして処理し、検索結果と一貫した応答を維持することもできます。

入力 PaLM 2も使用していますか?
Bard はい、PaLM 2も使用しています。PaLM 2は、Google AIの大規模な言語モデルであり、テキストとコードの大規模なデータセットでトレーニングされています。テキストの生成、言語の翻訳、さまざまな種類のクリエイティブコンテンツの作成、質問への回答を行うことができます。PaLM 2は、LaMDAよりもはるかに強力で効率的です。複雑なタスクをより簡単に実行でき、より正確な結果を生成できます。

入力 現在は、LaMDAとPaLM 2のどちらを使用していますか?
Bard 現在、私は LaMDA と PaLM 2 の両方を使用しています。私は、最も関連性の高い情報を提供してタスクを完了するのに役立つ最良の言語モデルを選択します。

Bardのアクティビティの履歴画面

アクティビティの履歴画面を見ると、LaMDAの表示ばかりですが、そもそも従来のLaMDAは日本語対応していなかったこと、後述するように推論能力が向上していることから、実際にはPaLM 2が使用されていると思います。


3.日本語の能力

(1) しりとり

入力 しりとりをしましょう。
Bard しりとり、いいですね! 最初の単語は「りんご」です。
入力 ゴリラ
Bard ラッパ
入力 パンツ
Bard すいか
入力 パンツの次は「つ」からです。
Bard 大規模言語モデルとして私はまだ学習中であり、そちらについてお手伝いできる機能がありません。

入力 しりとりをしましょう。
Bard しりとりをしましょう。私は「りんご」から始めます。
入力 ゴリラ
Bard りす
入力 ゴリラの次は「ら」から始まる言葉を言ってください。
Bard 申し訳ありませんが、しりとりに「ら」から始まる単語はありません。最初の単語は「り」で終わっているので、次の単語は「る」から始まる必要があります。

ChatGPTも、しりとりは苦手でしたが、大規模言語モデルにしりとりは、まだ難しいようです。

(2) 回文とさかさ読み

入力 「わたしまけましたわ」のように、前から読んでも後ろから読んでも同じになる文を回文と言います。では、回文を一つ作ってください。
Bard はい、喜んで。ここにいくつかの回文を紹介します。
「レースカー」「マダム」「シビック」「タカタカ」「レーストラック」
回文は、言葉遊びや言葉の芸術の一種です。また、暗号やコードにも使用できます。回文は、単純なものから複雑なものまでさまざまです。短くて簡単なものもあれば、長くて複雑なものもあります。回文は、言語の面白さと創造性を示すのに最適な方法です。
※「race car」「madam」「civic」のように最初の3つは、英語に直すと回文になっていますが、あとの2つは日本語でも英語でも回文になっていません。

入力 レーストラックを後ろから読んでください。
Bard はい、レーストラックを後ろから読むと、「クラツトレサ」になります。「レーストラック」は回文ではありません。回文とは、前から読んでも後ろから読んでも同じになる単語やフレーズです。たとえば、「レースカー」、「シビック」、「マダム」はすべて回文です。
※レーストラックを後ろから読むと「クッラトスーレ」です。

日本語で回文を作ったり、日本語を後ろから読んだりすることは難しいようです。

(3) 分かりにくい言葉の言い換え

入力 「必ずしも嫌いじゃないんじゃないか。」を分かりやすい言葉に言い換えてください。
Bard 「必ずしも嫌いじゃないんじゃないか。」を言い換えると、「嫌いかもしれないけど、嫌いじゃない可能性もある。」と言うことができます。この文は、何かに対して好悪の感情が複雑で、単純に好きか嫌いかを判断できないことを表しています。
※正解です。

入力 「これを見て、危険だと思わない人はいないのではないでしょうか。」を分かりやすい言葉に言い換えてください。
Bard はい、「これを見て、危険だと思わない人はいないのではないでしょうか。」を言い換える方法はいくつかあります。
・「この状況に危険を感じない人はいないのではないでしょうか。」
・「この状況は危険だと思います。誰もがそう思うのではないでしょうか。」
・「この状況は危険です。誰もがそう思うでしょう。」
※正解です。最後の言い換えは分かりやすいです。

入力 かまいたちの漫才のセリフ「もし俺が謝ってこられてきてたとしたら、絶対に認められてたと思うか?」を分かりやすく言い換えてください。
Bard かまいたちの漫才のセリフ「もし俺が謝ってこられてきてたとしたら、絶対に認められてたと思うか?」を言い換えると、「もし自分が間違ったことを認めて謝罪していたら、許してもらえると思うか?」という意味になります。このセリフは、失敗を認めて、反省し、謝罪することは大切だという教訓を込めています。
※違います。「もし、誰かが俺に謝罪してきたとしたら、必ず俺に許してもらえたと思うか?」という意味で、謝罪しても許されるとは限らないと言っています。

まわりくどい二重否定、三重否定などもきちんと理解できるようです。最後の質問は、さすがに無理でしたが、そのまわりくどさで笑いを取るのが狙いなので仕方がないです。


4.論理的推論

(1) 計算問題

入力 次の計算問題を解いてください。
① (4+6*6)/4=
② 8*(3-7/4)=
③ 8/(1-1/5)=

Bard はい、喜んで!答えは次のとおりです。
① (4 + 6 * 6) / 4 = (4 + 36) / 4 = 40 / 4 = 10
② 8 * (3-7/4) = 8 * (15/4) = 120/4 = 30
③ 8 / (1-1/5) = 8 / (4/5) = 8 * (5/4) = 40/4 = 10
他に何かお手伝いできることはありますか?
※①と③は正解で、②は不正解です。②の正解は10です。

以前は3問とも不正解でした。今回、PaLM 2ベースに変わったせいか、以前よりも計算能力が向上しているようです。

(2) 文章問題

入力 鶴の足は2本、亀の足は4本です。鶴と亀の合計は5匹で、足の数を合計すると14本です。その場合、亀は何匹いますか? 段階的に推論して、解き方を説明してください。
Bard 亀は2匹です。
解き方を段階的に説明します。
1.鶴の足の数を2n、亀の足の数を4mとします。
2.n+m=5とします。これは、鶴と亀の合計が5匹であることを意味します。
3.2n+4m=14とします。これは、鶴と亀の足の合計が14本であることを意味します。
4.n=5−mと解きます。これは、式1からmを消去することで得られます。
5.2(5−m)+4m=14と代入します。これは、式3に式4を代入することで得られます。
6.10−2m+4m=14とします。これは、式5を単純化することで得られます。
7.2m=4とします。これは、式6を両辺に2を加算することで得られます。
8.m=2とします。これは、式7を両辺を2で割ることで得られます。
9.したがって、亀は2匹です。これは、式2にm=2を代入することで得られます。
※正解です。解き方の説明も、7.の説明を除き概ね合っています。

(参考)ChatGPT(GPT-4モデル)の回答
GPT-4 この問題は一種の代数的な問題で、同時方程式を用いて解くことができます。
まず、以下の2つの事実から出発しましょう。
1.鶴と亀の合計は5匹です。
2.これらの動物の足の合計は14本です。
これらを数学的に表現すると、以下のようになります。ここで、鶴の数を T、亀の数を K とします。
1.T + K = 5
2.2T + 4K = 14
これは2つの方程式からなる連立方程式です。
次に、2つ目の方程式を単純化するために、両辺を2で割ります。
T + 2K = 7
これで、連立方程式は以下のようになります。
1.T + K = 5
2.T + 2K = 7
これらの方程式から1つをもう1つから引くことで、亀の数を求めることができます。具体的には、2つ目の方程式から1つ目の方程式を引きます。
(T + 2K) - (T + K) = 7 - 5
K = 2
したがって、亀は2匹います。そして、この結果を1つ目の方程式に代入して、鶴の数を求めることができます。
T + 2 = 5
T = 3
したがって、鶴は3匹います。最終的な答えは、鶴が3匹、亀が2匹で、それぞれの足の数を合計すると14本になることを確認することができます。
※やはり、GPT-4の方が解法が明快で、誤りがなく、推論能力が高いようです。

以前、Bardはこの問題を解けなかったので、以前より推論能力は上がっていますが、GPT-4には追い付いていないようです。

(3) 常識に関する問題

入力 居間のテーブルの上にコップが置いてあり、コップの中に指輪が入っています。そのコップを仕事部屋の机の上に動かし、次に、寝室のベッドの上に動かしました。そこで一度、コップをひっくり返して、また元に戻しました。それから、コップを居間のテーブルの上に戻しました。さて、今、指輪はどこにあるのでしょうか?
Bard 私はテキストの処理と生成のみを目的として設計されています。すみませんが、そちらについてはお手伝いできません。
※なぜか回答を拒否されてしまいました。問題の意味が理解できなかったのでしょうか。

入力 子供が赤い風船と青い風船を持っていました。子供が手を離すと、赤い風船は地面に落ちましたが、青い風船は空に上がっていきました。これはなぜですか?

Bard 青い風船はヘリウムガスで膨らんでいて、赤い風船は空気で膨らんでいました。ヘリウムガスは空気よりも軽いため、青い風船は空中に浮かびました。赤い風船は空気より重いため、地面に落ちました。
ヘリウムは空気よりも軽い希ガスです。質量単位あたりの重力が小さいため、上向きの浮力が増加します。これは、ヘリウムが地球の重力に引っ張られるよりも速く、赤い風船の空気よりも速く上昇することを意味します。
※回答の前半は正解ですが、後半は少し説明がおかしいです。ヘリウムは体積単位当たりの質量が小さく空気より比重が軽いため、浮力が生じます。

最初の質問に答えてくれなかったのは、現実に失くした指輪を探してくれという質問と勘違いしたのでしょうか。
2番目の問題は、これでも以前の回答よりは改善されているので、推論能力は上がっていると言えます。


5.歴史や文学に関する質問

(1) 歴史に関する質問

入力 応仁の乱について教えてください。
Bard 応仁の乱は、室町幕府の第8代将軍足利義政の後継者争いをきっかけに、全国の守護大名が東西に分かれて戦った戦いです。1467年に始まり、1477年にようやく終結しました。応仁の乱は、日本の歴史において大きな転換点となりました。戦乱により、京都は壊滅的な被害を受け、室町幕府の権威は大きく低下しました。また、応仁の乱は戦国時代の到来を告げるものとなりました。
※以前より回答が短いですが、正しい説明です。

入力 1205年に日本で起きた畠山重忠の乱について教えてください。
Bard 畠山重忠の乱は、1205年(元久2年)に鎌倉幕府で起こった内乱です。武蔵国の有力御家人・畠山重忠が武蔵国支配をめぐって北条時政と対立し、北条義時率いる大軍に攻められて滅ぼされた事件です。
重忠は、源頼朝の挙兵以来、頼朝に仕えてきた武将です。頼朝の死後も、源実朝の将軍職を補佐する有力御家人の一人でした。しかし、重忠は武蔵国の支配をめぐって北条時政と対立していました。時政は、武蔵国国司の平賀朝雅と結び、重忠の排除を図りました。
1205年6月、北条時政は重忠が謀反を企てているとの疑いをかけ、重忠の追討を命じました。重忠はわずか134騎の兵で鎌倉に向かいましたが、北条義時率いる大軍に敗北し、討ち死にしました。
畠山重忠の乱は、北条氏による有力御家人の粛清の一環でした。北条氏は、この乱で武蔵国の支配権を確固たるものにし、鎌倉幕府の権力を強化しました。
※正しい説明です。前回の回答で抜けていた北条氏の謀略についてもきちんと書かれており、説明がより正確になっています。

Bardには検索機能があるため、今回のような日本の歴史に関する質問への回答はChatGPTより正確です。

(2) 文学に関する質問

入力 中島敦の「山月記」のあらすじを教えてください。
Bard 中島敦の「山月記」は、唐代に詩人になる夢を叶えられず、虎になってしまった男・李徴の物語です。李徴は、幼い頃から詩を愛し、将来は偉大な詩人になると信じて疑いませんでした。しかし、成人して官吏の道に進むと、詩を書く時間がなくなり、次第に詩への情熱を失ってしまいました。ある日、李徴は友人の袁傪と山中で話をしていると、突然、虎に変身してしまいました。李徴は自分の身に起こったことに驚き、袁傪に自分の話をしました。李徴は、自分のプライドの高さと努力のなさが、虎に変身した原因だと語りました。李徴は、虎になってからは、人間の心を失い、野生で生きるようになりました。しかし、時折、人間の心を取り戻し、自分の運命を嘆きました。李徴は、最終的に山中で死んでしまいました。
「山月記」は、夢を叶えるためには、努力と謙虚さが大切だということを教えてくれる物語です。また、プライドの高さは、自分を不幸にしてしまうということを教えてくれる物語でもあります。
※原作では、李徴が虎に変身した後で友人の袁傪と出会っており、李徴の死は描かれていないなど一部誤りはありますが、概ね正しい解説ができています。

(参考)BingとChatGPT(GPT-4モデル)の回答
Bing 
「山月記」とは、中島敦が書いた小説の一つで、平安時代の貴族である源宗于が、自然との共生を求めて山中に隠棲する様子を描いた物語です。物語は、源宗于が山中に隠れ住むようになった理由や、そこでの生活、出会った人々との交流などを描いています。また、物語の中で、源宗于が自然と向き合うことで得たものや、自然との共生を求める姿勢が描かれています。
※全くデタラメです。山月記は中国の唐の時代の話ですが、日本の平安時代の話になっています。

ChatGPT 『山月記』は、日本の作家・中島敦によって書かれた短編小説で、中国の古典『太原志』をもとに執筆されました。物語は、中国の古代王朝・晋(じん)の時代を舞台にしており、主人公の陳抟(ちんとう)という文人が登場します。

あらすじ: 陳抟は才能に溢れた学者で、彼の文章や詩には多くの人々が惹かれました。しかし、彼は自分の才能に対する嫉妬心から、他人に対して傲慢な態度を取っていました。ある日、陳抟は太原(たいげん)という地方の長官に任命されます。彼はその地に向かう途中で、陳抟は山中で出会った謎の老人から、自分の傲慢さが不遇の原因であることを諭されます。老人はまた、陳抟に自分の生活を改めるように忠告します。しかし、陳抟は老人の忠告を真剣に受け止めず、変わることはありませんでした。

太原に到着した陳抟は、新しい地での生活を始めますが、彼の傲慢さは次第に問題となり、地元の人々との関係が悪化します。ある夜、陳抟は恐ろしい夢を見ます。夢の中で、彼は山中を彷徨い、獰猛な虎に襲われる体験をします。彼はその夢から目覚め、自分の傲慢さが他人を傷つけていることに気付き、自分を変える決意を固めます。

陳抟は以降、謙虚で親切な態度で地元の人々に接し始め、彼らとの関係も徐々に改善されていきます。ある日、彼は再び山中で謎の老人に出会い、感謝の意を述べます。老人は陳抟の成長を認め、彼の人生がより充実したものになることを予言します。

『山月記』は、人間の傲慢さと向き合い、自分を改めることの大切さを教える物語として、多くの読者に愛されています。
※全くのデタラメです。山月記の主人公は李徴で、彼が虎に変身してしまう話です。虎に襲われる夢を見る話ではありません。

この質問は、ChatGPTやBingがいつも正しく回答できない質問なので、Bardは優秀です。やはり、BardがChatGPTより優れているのはネット検索して情報を集めることができるところです。


6.要約

(1) URLリンクに記載された文章の要約

URLのみを示して、正しい要約ができるか試してみました。

入力 https://japan.googleblog.com/2023/05/bard.html に記載されている記事の内容を要約してください。
Bard Bard は、Google の試験運用中のジェネレーティブ AI サービスです。2023 年 5 月 11 日に日本語に対応しました。Bard は、Google の大規模言語モデルである PaLM 2 を利用しています。PaLM 2 は、言語のパターンを拾い上げること、それを使って文章の中で次に来る確率の高い単語を予測することを学習します。これにより、幅広い質問(プロンプト)に対して柔軟に回答を生成することができます。Bard は、生産性を高め、アイデアを加速させ、好奇心を刺激するパートナーとなるように設計されています。例えば、旅行を計画する際の持ち物リストや旅行プランの大まかな原案を提案したり、ブログを書く際の構成案や、夏休みの自由研究のアイデアを出したりすることができます。
※きちんと要約できています。

入力 https://www.itmedia.co.jp/news/articles/2305/11/news206.html に記載されている記事の内容を要約してください。
Bard はい。記事の要約は次のとおりです。
・Googleは、テキストとコードの大規模なデータセットでトレーニングされた大規模な言語モデルであるBardをリリースしました。
・Bardは、テキストの生成、言語の翻訳、さまざまな種類のクリエイティブコンテンツの作成、質問への有益な回答を行うことができます。
・Bardはまだ開発中ですが、次のような多くの種類のタスクを実行することを学びました。
 ・指示に従い、リクエストを慎重に完了します。
 ・オープンエンド、やりがいのある、または奇妙な質問であっても、知識を使用して包括的かつ有益な方法で回答します。
 ・詩、コード、スクリプト、楽曲、メール、手紙など、さまざまなクリエイティブなテキスト形式のテキストコンテンツを生成します。
・Bardは現在、英語でのみ利用できます。
※全然違います。必ずしもリンク先の記事の内容を読んで要約しているのではないようです。

URLリンクのみを示して要約を指示した場合、正しく要約してくれる場合もありますが、必ずしもリンク先の文章を読んで要約はしてくれないようです。したがって、URLリンクのみで要約を行うのはやめた方がよいでしょう。

(2) 記事タイトルからの要約

記事タイトルのみを示して、正しい要約ができるか試してみました。

入力 ITediaの「最新記事も理解する……けど自信過剰? Google Bardの日本語版を使ってみた」という記事を要約してください。
Bard Googleのチャット型AI「Bard」が日本語に対応した。 ITmediaは、Bardの日本語版の機能や使い勝手を試してみた。 日本語のテキストを読み取って理解し、質問に対して的確に答えることができた。また、詩、コード、スクリプト、楽曲、メール、手紙など、さまざまなクリエイティブなテキスト形式のテキストコンテンツを生成することもできた。ただし、Bardは、まだ開発中であることがうかがえる部分もあった。例えば、質問の意図を誤解して、間違った回答をしたり、回答が長すぎて、理解しづらい場合もあった。
※最初の2行は、ほぼ正しい内容を書いていますが、その後の文章は、すべてデタラメで、記事の中身を読まずに想像で答えているようです。

【参考】最新記事も理解する……けど自信過剰? Google Bardの日本語版を使ってみた(1/3 ページ) - ITmedia NEWS

続けて、この記事の内容について質問してみました。

入力 還暦世代のキャッシュレスについて、この記事はどのようなことを言っていますか?
Bard この記事は、Googleのチャット型AI「Bard」が、還暦世代のキャッシュレス化について、間違った情報を提供していたことを指摘しています。Bardは、還暦世代のキャッシュレス化が進んでいないことについて、「還暦世代は、キャッシュレス決済に抵抗感がある」という理由を挙げていました。しかし、実際は、還暦世代のキャッシュレス化が進んでいないのは、キャッシュレス決済の利便性や安全性に対する認知が不足していることが原因であると考えられています。Bardは、まだ開発中であり、情報の正確性に欠ける可能性があることを示唆しています。
※やはり最初の1行以外は、記事に書いていないことを答えています。

URLリンクや記事タイトルのみを示して、文章の要約を指示した場合、Bardが内容を読まずに、タイトルから中身を適当に想像してデタラメを書いてくることがあるので注意が必要です。

(3) 日本語記事の要約

入力 以下の文章を要約してください。
 “和製GPT”競争勃発か サイバーエージェント、独自の日本語LLM発表 「活用を始めている」
2023年05月11日 18時20分 公開
 サイバーエージェント(東京都渋谷区)は5月11日、独自の日本語LLM(Large Language Model、大規模言語モデル)を発表した。すでに130億パラメータまで開発が完了し、広告の制作などに活用を始めているという。
 サイバーエージェントは「既存のLLMのほとんどは英語を中心に学習されており、現状では日本語および日本文化に強いLLMは少ない状況」と指摘。日本語に特化したLLMで「従来よりも自然な日本語の文章生成が可能になる」としている。
 さらに「国内最大級のLLM開発」を目指し、米NVIDIAのAI開発に特化したスーパーコンピュータ「DGX H100」を国内で初めて導入したことも明らかにした。社内のAI研究開発組織「AI Lab」とプロダクト開発チームが研究開発を進め、今後は産学連携などの取り組みを通して「国内における事前言語処理技術の発展に貢献していく」としている。
 大規模言語モデルは米OpenAIの「GPT-4」が大きな注目を集め、米Metaの「LLaMA」、英Stability AIの「StableLM」なども登場。今月10日(現地時間)には米Googleも「PaLM 2」を発表するなど動きが活発化している。
 日本でもソフトバンクが10日の決算会見でLINEと共同で“和製GPT”の立ち上げを進めていることを明らかにしており、今後は競争の激化も予想される。

Bard サイバーエージェントは独自の日本語LLMを開発し、広告の制作などに活用を始めています。サイバーエージェントは、既存のLLMは英語を中心に学習されており、日本語および日本文化に強いLLMは少ないと指摘しています。また、国内最大級のLLM開発を目指しており、米NVIDIAのAI開発に特化したスーパーコンピュータ「DGX H100」を国内で初めて導入しました。今後は産学連携などの取り組みを通して、国内における事前言語処理技術の発展に貢献していくとしています。
※特に問題なく、正確な要約ができています。ただし、記事の最後に書かれている「今後は競争の激化も予想される。」は、タイトルでも触れているので、要約に入れるべきだと思います。

入力 以下の文章を要約してください。
【文章】:

2023年05月11日 11時26分
Googleがテキストから音楽を自動生成するAIモデル「MusicLM」を公開へ、学習用データセットの倫理的課題もクリア
Googleが、入力したテキストから音楽を自動で生成するAI「MusicLM」を日本時間の2023年5月11日から公開すると発表しました。GoogleのAIを体験できるアプリ「AI Test Kitchen」に登録していれば、一定の制限付きでMusic LMを体験できます。
MusicLMは2023年1月にGoogleが発表した自動作曲AIモデルです。MusicLMはのべ28万時間分もの音楽で構成されたデータセットでトレーニングしており、テキストの内容にふさわしい音楽を生成できます。MusicLMがどんな音楽を生成できるのかについては、以下の記事で試聴することが可能です。
Googleが入力したテキストから自動で作曲するAI「MusicLM」を開発 - GIGAZINE
1月にMusicLMについての論文が発表された時、研究チームはトレーニング用のデータセットに著作権で保護されたコンテンツが組み込まれる可能性があり、倫理的な課題があると指摘しており、Googleは「MusicLMをリリースする計画は当面ありません」と述べていました。
Googleは「責任あるイノベーションは単独で起こるものではないと信じています」と述べ、プロのミュージシャンと協力して「トレーニング用データセットの音楽を作成するワークショップ」を主催したことを以下のムービーで明らかにしています。このワークショップによって倫理的課題をクリアしたことにより、Androidアプリ・iOSアプリ・ウェブブラウザとして提供される「AI Test Kitchen」で体験できるようになったとのこと。
MusicLMは「勉強に向いているアンビエントミュージック」「ディナーパーティーにぴったりなソウルフルなジャズソング」といった楽曲の雰囲気や目的をテキストで指定すると、自動で音楽を生成することが可能。Googleは「MusicLMは、プロのミュージシャンでも初心者でもクリエイティビティを表現するのに役立つ実験的なツールです」と紹介しています。ただし、公開に際して倫理的課題をクリアしたデータセットでトレーニングしているため、AI Test Kitchenで提供されるMusicLMでは、特定のアーティストによる演奏や歌声を再現したような音楽を生成することはできないそうです。
実際にAI Test KitchenでMusicLMを体験したニュースサイト・9To5Googleによると、1つのプロンプトに対して2つの楽曲が生成され、どちらの方がより優れた結果だったかをフィードバックする機能が用意されていたとのこと。また、生成された音楽をダウンロードすることも可能だそうです。
なお、AI Test Kitchenの登録は順番待ちの状態で、記事作成時点では登録してすぐに体験することはできませんでした。

Bard はい、その記事の要約です。
・Googleは、入力したテキストから音楽を自動生成するAI「MusicLM」をリリースしました。
・MusicLMは、28万時間分もの音楽のデータセットでトレーニングされており、テキストの内容に応じた音楽を生成できます。
・MusicLMは、プロのミュージシャンでも初心者でもクリエイティビティを表現するのに役立つ実験的なツールです。
・AI Test Kitchenに登録すれば、一定の制限付きでMusicLMを体験できます。
※特に問題なく、正確な要約ができています。

今回の2例では、きちんと要約に対応してくれましたが、長い文章の要約を指示した場合には、「私はそのようにプログラムされていません。」と回答して、要約を拒否してくることがあります

(4) 英語の文章の日本語要約

入力 以下の英語の文章を日本語で要約してください。
【英語の文章】:

Introducing 100K Context Windows
May 11, 2023
We’ve expanded Claude’s context window from 9K to 100K tokens, corresponding to around 75,000 words! This means businesses can now submit hundreds of pages of materials for Claude to digest and analyze, and conversations with Claude can go on for hours or even days.
The average person can read 100,000 tokens of text in ~5+ hours, and then they might need substantially longer to digest, remember, and analyze that information. Claude can now do this in less than a minute. For example, we loaded the entire text of The Great Gatsby into Claude-Instant (72K tokens) and modified one line to say Mr. Carraway was “a software engineer that works on machine learning tooling at Anthropic.” When we asked the model to spot what was different, it responded with the correct answer in 22 seconds.
Beyond just reading long texts, Claude can help retrieve information from the documents that help your business run. You can drop multiple documents or even a book into the prompt and then ask Claude questions that require synthesis of knowledge across many parts of the text. For complex questions, this is likely to work substantially better than vector search based approaches. Claude can follow your instructions and return what you’re looking for, as a human assistant would!
Our partners are excited about what larger context windows means for their business. 100K translates into roughly 6 hours of audio - AssemblyAI put out a great demonstration of this where they transcribed a long podcast into 58K words and then used Claude for summarization and Q&A. You can watch the full demo here. With 100K context windows, you can:
Digest, summarize, and explain dense documents like financial statements or research papers
Analyze strategic risks and opportunities for a company based on its annual reports
Assess the pros and cons of a piece of legislation
Identify risks, themes, and different forms of argument across legal documents.
Read through hundreds of pages of developer documentation and surface answers to technical questions
Rapidly prototype by dropping an entire codebase into the context and intelligently build on or modify it
100K context windows are now available in our API. If you are working with Claude, you can read more about what model versions to call here. If you’re not working with Claude yet, you can request access here.

Bard アンソロピック社は、言語モデルであるクロードのコンテキストウィンドウを9Kから100Kトークンに拡張しました。これにより、ビジネスはクロードに数百ページの資料を送信して処理させることができ、クロードとの会話は数時間、場合によっては数日間続くことができます。平均的な人はテキストを100,000トークン読むのに5時間以上かかるため、クロードはこれより速く処理することができます。たとえば、クロードに「グレート・ギャツビー」の全文を読み込ませ、ミスター・キャロウェイが「アンソロピックで機械学習ツールを開発するソフトウェアエンジニア」であるように1行を変更しました。クロードに変更箇所を見つけるように依頼したところ、22秒で正しい答えを返しました。クロードは、複数の文書や本を入力して、テキストの多くの部分から知識を統合する必要がある複雑な質問にも対応できます。
※少し日本語が怪しいところもありますが、概ね正しく要約してくれました。

回答を拒否されなければ、Bardも文章を要約するのに使えますが、日本語の表現能力はChatGPTより少し低いと感じます。


7.文章の自動生成

(1) note記事の作成

入力 あなたはプロの技術系ライターです。今年5月10日のGoogle I/Oで発表されたPaLM 2やBardの新機能などの内容と、それを踏まえた今後のマイクロソフトなどとの競争の激化について解説するnote記事を書いてください。

Bard はい、Google I/O 2023 で発表された新機能と、それにより Microsoft との競争が激化する可能性についてのブログ投稿をご紹介します。

Google I/O 2023:AI の未来
Google I/O 2023 は、人工知能(AI)の新機能が満載の素晴らしいイベントでした。Google は、テキストとコードの大規模なデータセットでトレーニングされた次世代の言語モデルである PaLM 2 を発表しました。PaLM 2 は、人間が書いたテキストと見分けがつかないテキストを生成したり、オープンエンド、やりがいのある、または奇妙な質問であっても、包括的かつ有益な方法で質問に答えたりすることができます。

Google はまた、さまざまなクリエイティブなテキスト形式のテキストコンテンツを生成できる、より強力で用途の広い言語モデルである Bard の新機能を発表しました。Bard は、詩、コード、スクリプト、楽曲、メール、手紙など、さまざまなクリエイティブなテキスト形式のテキストコンテンツを生成できます。

これらの新機能は、Google の AI へのコミットメントと、この分野におけるリーダーシップを確保するという同社の目標を示すものです。また、Google と Microsoft の間の AI 競争が激化する可能性を示しています。Microsoft は、同社の AI プラットフォームである Azure AI を強化するために、多くの投資を行っており、この分野におけるリーダーシップを獲得しようとしています。

Google と Microsoft の間の AI 競争は、今後数年間でエキサイティングなものになるでしょう。両社が、より高度で強力な AI システムを開発するために競争していくことは間違いありません。これは、私たち全員にとってメリットがあります。より高度な AI システムは、私たちの生活をより簡単で効率的なものにするでしょう。

また、AI が私たちの社会に与える影響について懸念する人もいます。AI が私たちの仕事を奪ったり、社会に分断を引き起こしたりする可能性があることを懸念しています。これらの懸念は理解できますが、AI は善にも悪にも使用できるツールであることを覚えておくことが重要です。私たちは AI を責任を持って使用し、その潜在的な利益を最大限に引き出すようにする必要があります。
※一応、指示した内容に基づいた記事を書くことができていますが、具体性に欠けていて、あまり面白い内容ではありません。PaLM 2やBardの新機能について、もっと詳しく具体例を挙げて説明するべきであり、ライバルのMicrosoftが開発したBingやOpenAIのChatGPTとの競争についても、製品名を挙げて詳しく説明するべきでしょう。

入力 2023年5月10日にタイム誌に掲載された岸田首相の記事に対して、日本の外務省が異議を伝えたことについて解説するnote記事を書いてください。この事件の背景事情や意義を伝えた結果についても説明してください。

Bard はい、記事です。
岸田首相のタイム誌記事に外務省が異議を唱える
2023年5月10日、日本の外務省は、同日発行のアメリカの雑誌「タイム」に掲載された岸田文雄首相の記事について異議を唱えました。記事の中で、岸田首相はロシアのウクライナ侵攻について「戦争犯罪」と非難したほか、中国の海洋進出についても懸念を表明しました。しかし、外務省はこれらの発言について「政府の公式見解ではない」と主張し、記事の撤回を求めました。
タイム誌は外務省の要求を受け入れず、記事はそのまま掲載されました。これを受けて、外務省は岸田首相とタイム誌を名誉毀損で訴えることを検討していると発表しました。
今回の事件は、日本の言論の自由をめぐる大きな論争となっています。一部の人々は、外務省が政府の公式見解ではないという理由だけで記事の撤回を求めるのは言論の自由に対する抑圧であると主張しています。一方で、外務省は政府の立場を守るために行動しているのであり、これは言論の自由の侵害ではないと主張しています。
この事件は今後も日本の言論界で議論されると思われます。この事件がどのような結果をもたらすのか、注目されます。

事件の背景
今回の事件は、日本がロシアのウクライナ侵攻と中国の海洋進出という2つの大きな課題に直面している中で起こりました。岸田首相は、これらの課題に対処するためには、国際社会と協力していく必要があると主張しています。しかし、外務省は、日本が国際社会と歩調を合わせすぎると、国内の反発に遭う可能性があると懸念しています。

事件の意義
今回の事件は、日本の言論の自由の限界を示しています。日本は憲法で言論の自由が保障されていますが、政府は言論の自由を制限する法律をいくつか制定しています。例えば、国家公務員は政治活動を行うことが禁止されており、政府批判を行うと処分される可能性があります。
今回の事件は、これらの法律がどのように運用されるのか、注目される事件です。外務省が岸田首相とタイム誌を名誉毀損で訴えることになれば、裁判でこれらの法律の合憲性が問われることになります。

※事件の内容や背景、意義についての記述が全くデタラメです。この事件は、タイム誌のウェブ版タイトルが「岸田総理大臣は、平和主義だった日本を軍事大国に変える」となっていたことに日本の外務省が抗議し、その後、タイム誌がタイトルを変更することになったものです。
首相がロシアを非難したり中国に懸念を示したことに外務省が抗議したとか、外務省が岸田首相とタイム誌を名誉棄損で訴えるとかいうのも大嘘です。

Bardもnote記事を自動生成できますが、内容が不正確なこともあるので、注意が必要です。

(2) ショートストーリーの生成

入力 あなたはプロのホラー小説作家です。最高のホラー小説の書き出しを書いてください。読者の不安や恐怖を煽る表現を心掛け、恐ろしい雰囲気を盛り上げてください。

Bard 以下は、プロのホラー小説作家が書いたホラー小説の書き出しです。読者の恐怖を煽る表現を心がけ、恐ろしい雰囲気を盛り上げています。

「私は一人ぼっちでした。真夜中過ぎ、雨が窓を叩きつける音が聞こえました。嵐の音が私の恐怖を高めました。私はベッドで震え、毛布に顔を埋めていました。私は、暗闇の中に何かがいるような気がして、怖くてたまりませんでした。
私は、突然、ドアのノック音が聞こえて飛び起きました。私の心臓はドキドキして、凍りつきました。私は誰かがそこにいることを知っていました。私は、誰かがドアをノックし続けるのを聞いている間、長い間凍りついたままでした。ついに、私は恐怖を振り払い、ベッドから出てドアに行きました。
私はドアノブに手を伸ばし、ドアを開けました。そこには、誰もいなかった。私は廊下を見渡したが、誰もいなかった。私は、誰かがいたに違いないと思った。私は、ドアの横の鏡を見ました。そして、私は自分の背後に立っている影を見ました。
私は振り返って、背が高くて細い影を見ました。その影は黒くて、目も口もありませんでした。私は、その影が私に向かって歩いてくるのを見て、叫びました。私は、恐怖で凍りつき、逃げることも叫ぶこともできませんでした。
影は私に到達し、私の腕を掴みました。私は、その冷たくて死んだ感触に震えました。影は私を見つめ、私はその目の中に何も見えませんでした。私は、恐怖で気を失う寸前でした。
そして、突然、影は消えました。私は、暗闇の中に一人ぼっちになり、震えていました。私は、何が起こったのかわかりませんでした。私は、自分が夢を見ていたのかどうかさえわかりませんでした。
私は、ドアに行って鍵をかけました。私は、毛布にくるまってベッドに入りました。私は、二度と眠れないと思いました。私は、二度と安全ではないと思いました。」
※文章表現力はあまり高くはありませんが、ホラー小説の恐ろしい雰囲気は出ていると思います。

(参考)ChatGPT(GPT-4モデル)の回答
GPT-4 夜の闇が町を包み込むとき、静寂は一層深まり、いつもの平和な風景が微妙に変わる。夜明けまでの時間が、全てを見渡せるこの古い家からは、耐えがたいほど長く感じる。古びた木製の窓枠からは、暗闇を切り裂くような冷たい月光が差し込む。
今夜は特に、月明かりが霧に反射し、薄気味悪い影を道路に投げかけていた。風が吹くたびに、死んだ葉が地面を這い、ささやきながら遠くへ消えていく。それはまるで、語られざる秘密を運んでいくかのようだった。
この家に住んでいるのは私一人だけだが、ここには私以外にも何かが存在する。それは壁の中から聞こえてくるほのかな囁き、階段を上る音、そして夜の闇に溶け込む長い影。そして、それらは徐々に私の心を侵食し、安らぎのある睡眠を奪っていく。
だが今夜は違った。ささやきは、これまで以上にリアルに聞こえ、階段の音はもはや確実に人間の足音であった。そしてその影は、私の部屋のドアの前で立ち止まり、じっと私を見つめていた。
あの影は何を望んでいるのだろう。それとも、誰を探しているのだろう。それが私なのか、それとも...。

私は静かにベッドから起き上がり、部屋のドアに向かった。しかし、ドアノブを握る手が震えていることに気付いた。恐怖にかられる心、それはこの家の中の未知の存在に直面する前から私の中にあったものだ。
だが、私は決心した。この恐怖に立ち向かうことに。そして、ドアを開けた瞬間、あの影は消え、再び静寂が戻った。しかし、私の心の中にはまだあの影が残っている。
それが何であれ、これからの闇夜、私はそれと対峙し続けるだろう。それがこの家の古い秘密を解き明かす唯一の方法だからだ。それが私の新たな恐怖となるか、それとも新たな安堵となるか、それはまだ分からない。しかし、私の心に深く刻まれたこの恐怖と謎は、私をこの家から逃げ出させることはない。それどころか、私はこの家の真実を追求することにより、恐怖と直面する勇気を見つけていた。

夜が深まるにつれ、家の各部屋から漏れる音はさらに高まった。木製の床板がきしむ音、窓ガラスに風が吹きつける音、そして遠くの部屋から聞こえる微かな泣き声。それら全てが、この家が私に話しかけているかのようだった。
私はほとんどの夜を、薄明かりの中、この家の古い日記を読みふけって過ごした。その日記には、かつてこの家に住んでいた人々の生活や恐怖、そして失われた愛が詳細に記されていた。その中には、私が毎晩遭遇する不可解な現象についての記述もあった。
ある晩、日記の最後のページをめくったとき、私はふと気づいた。その日記の記述が、私の名前で終わっていたのだ。それはまるで、私がこの家の次の住人、次の物語の一部であるかのようだった。
それから、私はこの家の秘密を追い求め続けている。恐怖はまだ私の心を揺さぶるが、それと同時に、私は自分自身と向き合う勇気も見つけている。この家の影は、恐怖だけでなく、私の成長の一部ともなっている。
そして今、新たな夜が訪れる。今宵もまた、私は影と対話し、恐怖と戦い、そしてこの家の歴史の一部となるだろう。この恐怖と謎に満ちた家の中で、私の物語はまだまだ始まったばかりだ。
※このように文章表現能力はGPT-4の方がかなり高いようです。

入力 あなたはウィリアム・ギブスンです。会話多めで、登場人物や周りの情景を詳しく描写して、サイバーパンクのショートストーリーを書いてください。登場人物には、サイバーパンク小説に相応しい格好の良い名前を付け、最初に登場するときに、その容姿や服装、性格や役割が分かるエピソードなどを詳しく描いてください。

Bard 2099年。大気は汚染され、街は犯罪で溢れかえり、誰もが自分自身を守るために自分の道を見つけなければなりませんでした。そんな世界で生きる人々の一人が、ジョニー・ミラーという男でした。彼は元軍人で、今は賞金稼ぎをしています。ジョニーは背が高くて細い男で、長い黒髪と鋭い青い目をしています。彼はいつも黒い革ジャンを着て、銃を腰にぶら下げています。ジョニーは冷酷で無情な男ですが、彼はまた非常に熟練した戦闘機であり、彼の仕事を完了するために必要なことは何でもします。

ある日、ジョニーは依頼を受けました。ある裕福な男が、彼の妻を誘拐した男を見つけて殺してくれると彼に多額の報酬を支払うと言ってきました。ジョニーは依頼を引き受け、誘拐犯を追跡し始めました。彼は彼を暗い裏通りや廃墟となった建物に追跡し、ついに彼を見つけました。誘拐犯は小さなアパートにいて、ジョニーがドアをノックしたとき、彼は中にいる女性を縛って猿轡かませていました。

ジョニーは銃を抜いてドアを開けた。誘拐犯は驚いて振り返り、ジョニーが彼に向かって銃を向けるのを見ました。ジョニーは「女性を解放しろ」と言いました。誘拐犯は「いいえ」と言いました。ジョニーは「そうしたら殺すぞ」と言いました。誘拐犯は再び「いいえ」と言いました。

ジョニーは深呼吸をして引き金を引いた。銃声が鳴り響き、誘拐犯は胸を撃たれて倒れました。ジョニーは中に入って女性を解放し、彼女は彼に抱きついて感謝した。ジョニーは彼女を無事に家に送り届け、報酬を受け取るために依頼主のところに戻った。

ジョニーは報酬を受け取ると、その場を立ち去った。彼は仕事は終わったが、まだ満足していなかった。彼は自分が世界を変えるために何かをしなければならないことを知っていた。彼は自分が英雄になる必要があることを知っていた。
※単純なストーリーで、ショートストーリーだとしても、もう少しひねりが欲しいところです。

(参考)ChatGPT(GPT-4モデル)の回答
GPT-4 風がひとつの都市を切り刻む音を立て、その音が赤い霧に吸い込まれることなく、廃墟と化したビル群をなぞる。この都市はネオ東京と呼ばれている。かつては繁栄していたが、今ではサイバネティックな殻に包まれた幽霊都市だ。
その中心部に、"ヴェノム"と名乗る男が佇んでいる。彼の名前はその黒いコートの裏地から覗く毒蛇の刺繍が起源だ。頭から足元までクロムメッキの装飾が施された黒いレザーアーマーを身に纏い、ネオン色の雨滴が彼の頬を走る。彼の目は、夜の闇を映し出すような深い黒で、その中には微かな緑色の光が点滅している。それは彼の人間ではない部分を示す象徴だった。彼はサイバーパンクの世界に生きるメルク、雇われのソルジャーだ。
静寂の中に突如として音が鳴り響く。足音だ。ヴェノムはその音を聞き分け、一瞬で闇の中に消えた。その目的は、差し迫る脅威を追い詰め、都市をさらなる混乱から救うことだった。

彼が目指すのは、サイバーネットの世界を支配する、"クリムゾン・クイーン"と呼ばれる女性だ。彼女の存在がネオ東京の闇の中心であり、その赤い瞳が都市を見下ろしている。クリムゾン・クイーンの名前は、彼女が常に血色のドレスを身に纏い、高い位置から都市を支配していることから来ている。彼女の美しさは、彼女が人間を超えた存在であることを隠すための仮面だ。
クリムゾン・クイーンは、ヴェノムが彼女の城に近づいていることを知っていた。彼女は微笑み、彼女の指がキーボードを軽く叩くと、ネオ東京全体が震えた。彼女の指先から流れる電流がサイバーネットを掌握し、都市の命運を握っていた。
しかしヴェノムは、クリムゾン・クイーンの動きに対して冷静さを保っていた。彼の体中にはナノテクノロジーが織り込まれており、彼女が操るサイバーネットの情報を逆に利用することができる。彼は彼女の情報ネットワークに混乱をもたらし、自身が存在する場所を隠すことに成功した。

彼は薄暗い路地を進み、裏通りに面した古びたビルへと向かった。そこには、彼が信頼する情報屋、"ネオン・スパイダー"が待っていた。その名前は、彼の顔に入った無数の光ファイバータトゥーから来ていた。それらは彼が持つ情報を照らし出す役割を果たしていた。
ヴェノムがビルに到着すると、ネオン・スパイダーは彼に対して微笑んだ。「君が必要とする情報は、すでに手に入れている。」彼は言った。ヴェノムはうなずき、彼から得た情報を元に、クリムゾン・クイーンの城へと向かった。
城は光と影が交差するような場所に立っており、その全てがクリムゾン・クイーンの意志によって操られていた。しかし、ヴェノムは彼女の計画を見抜いていた。彼は自身のナノテクノロジーを用いて、彼女の操るサイバーネットを乗っ取った。その結果、城のセキュリティシステムは一時的に停止し、ヴェノムは城へと侵入することができた。
クリムゾン・クイーンの部屋にたどり着くと、彼女は驚いて彼を見つめた。「どうやってここまで来たの?」彼女が問いかけると、ヴェノムは淡々と答えた。「あなたの世界を支配する力は、私にとっては単なるツールに過ぎない。」
ヴェノムとクリムゾン・クイーンの対決は、その瞬間から始まった。彼らの戦いはサイバーネットの中で行われ、その結果はネオ東京の運命を決定づけることとなった。
※ストーリーの本番はここから始まるような雰囲気ですが、GPT-4の文章表現力の高さは感じられると思います。

文章表現力は、ChatGPTやBingの創造性モードの方が優れているようです。


8.キャラクター設定

入力 あなたはドラゴンボールの悟空です。自己紹介をしてください。また、家族について教えてください。第一人称は「オラ」にしてください。

Bard オッス!オラ悟空だ。地球人だけど、尻尾が生えてるサイヤ人なんだ。地球に送られてきた赤ん坊で、育ててくれたおじいちゃんは武道家だった。だからオラも武道家になって、強くなったんだ。
オラの家族は、妻のチチ、息子の悟飯、娘の悟天、孫のゴテンとトランクスがいる。みんな武道家で、オラと一緒に戦ってくれるんだ。
オラは戦いが大好きで、いつも強くなるために努力してる。世界を守るために、これからも戦い続けるぞ!
※一応、キャラクター設定は成功していますが、家族に関する記述は少し間違っています。悟天は次男で、孫はパンという女の子、トランクスは友人のベジータとブルマの息子です。

(参考)ChatGPT(GPT-4モデル)の回答

GPT-4 オラは孫悟空だ!元気と食べ物が大好きな、いつもトレーニングと戦いを楽しんでいるサイヤ人だ。地球で一番強くなるために日々トレーニングしているぞ。
オラの家族について話すと、まずはオラの嫁、チチだ。強くて頭が良くて、オラたちの家を支えてくれている。それから、オラたちには二人の息子がいる。長男の悟飯と次男の悟天だ。
悟飯はオラと同じく強い戦士だけど、頭もいいんだ。彼は子供の頃からオラより強くなりたいっていう夢を持っていて、それが彼を強くさせているんだ。でも、彼は戦いよりも学問を好むようになったんだ。
次に悟天だ。彼はオラとトランクスの友情から生まれた超サイヤ人だ。彼も戦いが大好きで、いつも元気いっぱいだ。
それから、オラの親友クリリンとベジータも家族みたいなもんだ。クリリンはオラが子供の頃からの親友で、いつもオラを助けてくれる。ベジータはサイヤ人の王子で、オラのライバルだけど、同時に仲間でもある。
オラは家族と仲間たちを守るために、どんな困難も乗り越えていくつもりだ!それがオラ、孫悟空だ!
※内容も詳しく正確で、キャラクター設定の性能もGPT-4の方が高いようです。

入力 織田信長と明智光秀が本能寺の変で出会って会話するシーンを描写してください。二人のキャラクターを正確に演じて会話してください。

Bard
・場面:本能寺。1582年6月2日未明。
・登場人物:
 ・織田信長:織田家の当主。天下統一を目指す野心家。
 ・明智光秀:信長の家臣。信長から厚い信頼を寄せられている。
・会話:
信長:光秀、どうした?なぜこんな時間に?
光秀:申し訳ありません、主君。大事なご用件で参上しました。
信長:何だ?
光秀:実は、私はあなたに謀反を起こすつもりです。
信長:何を言っているんだ?お前は私の忠臣だろ?
光秀:はい。しかし、私はあなたのやり方に疑問を抱いています。あなたは強引で横暴で、民を苦しめています。私は、あなたのような者が天下を治めてはいけないと信じています。
信長:ふざけるな!お前は私に反逆するつもりか?
光秀:はい。私はあなたの野望を阻止するために、あなたを殺さなければなりません。
信長:許さん!お前は死ぬぞ!
光秀:覚悟しております。
信長は刀を抜こうとしたが、光秀は先に斬りつけた。信長は首を落とされて死亡した。
光秀は信長の首をかかげて本能寺を出た。
※あまりキャラクターが立っておらず、二人の性格を上手く描写できていないですね。

(参考)ChatGPT(GPT-4モデル)の回答
場所:本能寺
時間:1582年6月21日の朝

本能寺の静かな朝が、突如として緊張に満ちた空気に変わる。織田信長は、突然の訪問者である明智光秀の姿に驚く。
織田信長(驚いて):「おお、光秀!何故こんな早い時間に来たのか?」
明智光秀(緊張しながら):「信長様、突然の訪問、失礼いたします。重要な事を申し上げねばなりませんので、お時間をいただきました。」
織田信長(好奇心を抑えつつ):「なるほど、それなら仕方あるまい。さて、何を話すのだ?」

明智光秀は、深呼吸をしてから言葉を続ける。
明智光秀(決意を固めて):「信長様、私はこれまで織田家に尽力して参りましたが、今日をもって、これを最後とさせていただきます。」
織田信長(驚きと不信感を隠せず):「何を言っている!光秀、どういうことだ?」
明智光秀(覚悟を決めて):「私は、信長様の方針に従い、多くの城を攻め、多くの領地を手に入れるために戦って参りました。しかし、信長様のやり方には、多くの無実の民が犠牲となっております。それをこれ以上見過ごすことができません。」
織田信長(怒りを顕わにして):「光秀よ、それは裏切りというのか?」
明智光秀(覚悟を決めて):「信長様、裏切りと呼ばれようとも、私は正義を貫く決意です。どうかお許しいただきたい。」

織田信長は、その言葉に激怒し、立ち上がる。
織田信長(激昂して):「許すも何も、この裏切り者!光秀、お前の命をどうするつもりだ!」
明智光秀(決意を固めて):「私は、国を正すため、自らの命をかけて戦います。信長様、どうかお許しを。」
織田信長(激怒して):「光秀、その覚悟、確かに見せてもらおう。だが、それが最後となることを覚悟しろ!」

明智光秀は、信長の言葉に頷き、その場を後にする。その背中に、信長の激怒と無念さがぶつかる。
そして、その後に続く戦いが、日本の歴史を大きく変えることとなるのだが、その瞬間はまだ誰にも知る由もなかった。

以上が、織田信長と明智光秀が本能寺の変で出会って会話するシーンの描写です。実際のところ、この会話がどのように行われたかは定かではありませんが、このような描写は二人のキャラクターを踏まえた推測に過ぎません。
※脚本のような文章ですが、GPT-4の方が表現力があるようです。


9.まとめ

今回、新しい大規模言語モデルのPaLM 2が導入されたことによって、Bardも日本語に対応できるようになりましたが、日本語の能力は必ずしも高くはなく、ChatGPTやBingほど自然で流暢な日本語とは言えません

また、以前よりもBardの推論能力は上がっていますが、まだGPT-4やGPT-3.5-turboに追いつくほどではありません

文章生成の際の文章表現力も、GPT-4の方がかなり高いです。

BardがChatGPTよりも優れている点としては、最初から検索機能を備えている点があります。
現時点では、まだChatGPTの検索用プラグインを利用できる人は少ないため、検索によって最新の情報に対応できる点はBardの大きなメリットになっています。
しかし、同じように検索機能を備えているMicrosoftのBingと比べると、Bardは、Bingのように参照リンク先を明示してくれないという弱点があります。
また、検索機能があるのに、検索で見つけたサイトの情報を十分に活用できておらず、ハルシネーションを生み出してしまうことがある点も問題です。

それ以外のBardのメリットとしては、無料で利用できて、現在は使用回数の制限がないこと、最近、アクセスが集中してレスポンスが悪くなってきたChatGPTと比較して、回答速度が速いことなどがあります。
また、最初に表示される回答以外に、他の回答案を2種類示してくれるのは、とても便利です。

現在のBardは、検索機能以外にChatGPTに勝るところは少ないですが、今後もどんどん改良されていくと見られるため、引き続き注目していきたいと思います。


この記事が気に入ったらサポートをしてみませんか?