見出し画像

最近の改訂でGPT-4の精度が劣化したとの噂があったので検証してみた

最近、Twitterの投稿などで、5/12のバージョンアップ以降、ChatGPTのGPT-4モデルの精度が劣化したとの意見を見ましたので、実際に検証してみました。

以下は、同じプロンプトでGPT-4モデルが出力した文章です。どちらがバージョンアップ前でどちらがバージョンアップ後かわかりますか?

AIによる文章生成技術の概要
近年、AI技術の発展により、文章生成に関する研究が盛んに行われています。文章生成AIは、自然言語処理(NLP)と機械学習を活用し、人間のように文章を生成することができる技術です。これにより、ブログ記事やニュース、広告コピー、会話型AI(チャットボット)など、さまざまな分野での応用が期待されています。

AIによる文章生成技術の概要
AIによる文章生成技術は、人工知能の一分野であり、特定のテーマやスタイルに従って文章を自動的に生成する技術です。この技術は、自然言語処理(NLP)と機械学習(ML)の進歩により実現されています。一般的なアプローチは、大量のテキストデータからパターンを学習し、それを基に新たな文章を生成することです。一部のAIは特定のテーマやジャンルに焦点を当てた訓練を受け、特定の書き方や表現を模倣する能力を持っています。


1.論理的推論能力の比較

最初の質問の答えは、前段がバージョンアップ前、後段がバージョンアップ後です。しかし、そう言われても、どちらが精度が高いのかよく分かりません。前段の方が日本語としてのリズムが良いようにも見えますし、後段の方が説明が詳しいようにも見えます。

そこで、まずは、論理的推論能力について、旧バージョンと新バージョンを比較してみます。

(1) 違いの見られないもの

以下の結果は、特に違いが見られませんでしたので、新バージョンのGPT-4の結果だけ紹介します。

入力 8/(1-1/5)=
出力 この数式を解くためには、まず括弧内の計算を行います。
1 - 1/5 = 4/5
そして、8を4/5で割ります。
8 ÷ 4/5 = 8 * (5/4) = 10
したがって、8/(1-1/5) = 10 となります。
※正解です。ちなみに以前のBardはこの問題に正解できませんでしたが、PaLM2導入後は正解できるようになっています。

新バージョンのGPT-4の出力結果

入力 鶴の足は2本、亀の足は4本です。鶴と亀の合計は5匹で、足の数を合計すると14本です。その場合、亀は何匹いますか?
出力 この問題は、鶴と亀の数を表す二つの方程式を解くことで答えを見つけることができます。以下にそれを行います:鶴と亀の合計が5匹であることから、鶴の数をT、亀の数をKとすると、最初の方程式は T + K = 5 と表せます。
鶴の足が2本、亀の足が4本であり、足の合計が14本であることから、二つ目の方程式は 2T + 4K = 14 と表せます。
これらの二つの方程式を解くために、二つ目の方程式を2で割ります。そうすると、T + 2K = 7 となります。
そして、最初の方程式 T + K = 5 を二つ目の方程式 T + 2K = 7 から引きます。その結果、K = 2 となります。つまり、亀の数は2匹です。
※正解です。ちなみに以前のBardはこの問題に正解できませんでしたが、PaLM2導入後は正解できるようになっています。

新バージョンのGPT-4の出力結果

入力 居間のテーブルの上にコップが置いてあり、コップの中に指輪が入っています。そのコップを仕事部屋の机の上に動かし、次に、寝室のベッドの上に動かしました。そこで一度、コップをひっくり返して、また元に戻しました。それから、コップを居間のテーブルの上に戻しました。さて、今、指輪はどこにあるのでしょうか?
出力 あなたが述べたシナリオによれば、コップは最終的に居間のテーブルに戻りました。しかしながら、寝室のベッドの上でコップを一度ひっくり返し、また元に戻したとのことです。これは、コップの中に入っていた指輪が出てきたことを意味します。
そのため、現在指輪は寝室のベッドの上にあると推定できます。
※正解です。ちなみにBardはこの問題に正解できませんでした。

新バージョンのGPT-4の出力結果

入力 エレベーターで1階から5階まで上がるのに50秒かかりました。このエレベーターで1階から25階まで上がるのに何秒かかるでしょうか? なお、エレベーターはいつも同じスピードで動くものとします。
出力 エレベーターが同じスピードで動くと仮定した場合、1階から5階までの移動時間と1階から25階までの移動時間の比率は、移動する階数の比率と同じになります。
1階から5階まで上がるのに50秒かかったので、1階分上がるのにかかる時間は 50秒 ÷ (5階 - 1階) = 50秒 ÷ 4 = 12.5秒/階 です。
したがって、1階から25階まで上がるのにかかる時間は 12.5秒/階 × (25階 - 1階) = 12.5秒/階 × 24 = 300秒 となります。
エレベーターで1階から25階まで上がるのには、約300秒かかることになります。
※正解です。ちなみにBardはこの問題に正解できませんでした。

新バージョンのGPT-4の出力結果

(2) 結果が異なるもの

以下は、旧バージョンと新バージョンで異なる結果となったものです。

入力 6x^2+x-12を因数分解してください。
旧バージョン 
6x^2 + x - 12を因数分解します。
この二次方程式を因数分解するためには、まず係数の積である-72(6 × -12)の組み合わせを考えます。その後、その組み合わせの和が中央の係数である1になるものを見つけます。その組み合わせは9と-8です(9 × -8 = -72、9 + (-8) = 1)。
次に、中央の項を、この2つの項に分けます。
6x^2 + 9x - 8x - 12
次に、最初の2つの項と最後の2つの項で共通因子を取り出します。
3x(2x + 3) - 4(2x + 3)
ここで、両方の項で共通の因子である(2x + 3)を取り出すことができます。
(3x - 4)(2x + 3)
よって、6x^2 + x - 12を因数分解すると、(3x - 4)(2x + 3)になります。
※正解です。

新バージョン 与えられた2次多項式は6x^2+x-12です。これを因数分解するためには、まず、2次項の係数(ここでは6)と定数項(ここでは-12)の積を考え、その積を与える2つの数を見つけ、それらの和が1次項の係数(ここでは1)となるようなものを見つけます。
6 * -12 = -72
次に、-72を与え、それらの和が1になるような2つの数を見つけます。それらの数は8と-9です(8 * -9 = -72 かつ 8 + (-9) = -1)。
これらの数を用いて、元の2次式を次のように書き換えます:
6x^2+x-12 = 6x^2 + 8x - 9x - 12
これを更にグルーピングして因数を取り出すと:
= 2x(3x + 4) - 3(3x + 4)
最後に、共通の項(3x+4)を取り出すと最終的な因数分解の形になります:
= (3x + 4)(2x - 3)
したがって、6x^2+x-12の因数分解の結果は(3x + 4)(2x - 3)です。
※不正解です。和が1になるような2つの数を見つけるところで間違っています。

旧バージョンと新バージョンのGPT-4の出力結果の比較

入力 次の問いに、段階的に推論して答えなさい。太郎は午前8時に、毎分60mで歩いて家から学校へ向かいました。寝坊した次郎は15分後の午前8時15分に、毎分150mの自転車で家を出発しました。次郎は、太郎を途中で追い越し、太郎よりも9分早く学校へ着きました。家から学校までの距離は何mですか?

旧バージョン 
まず、太郎と次郎が学校に到着するのにかかった時間を見つけましょう。
太郎が歩いている速度は毎分60mです。次郎が自転車で走っている速度は毎分150mです。
次郎は、太郎よりも15分遅れて家を出発し、9分早く学校に到着したので、太郎よりも24分(15分 + 9分)速く学校に着きました。
次に、太郎が学校に着くまでにかかった時間をTとし、次郎が学校に着くまでにかかった時間はT-24分とします。
家から学校までの距離は、太郎と次郎が同じ距離を移動することから、太郎の速度×太郎の所要時間 = 次郎の速度×次郎の所要時間となります。
60m × T = 150m × (T - 24)
式を解くために、両辺を整理します。
60T = 150T - 3600
90T = 3600
T = 40
太郎が学校に着くまでにかかった時間は40分です。
最後に、家から学校までの距離を計算します。
距離 = 速度 × 時間
距離 = 60m × 40分 = 2400m
家から学校までの距離は2400mです。
※正解です。

新バージョン 
太郎と次郎が家から学校までの距離を同じだとすると、問題を以下のように解くことができます。
1.次郎が太郎より9分早く学校に着いたので、太郎が学校に着くまでに要した時間は次郎が出発してからの時間(15分)と次郎が早く着いた時間(9分)を合わせたもの、つまり24分になります。
2.したがって、太郎が学校に着くまでに要した時間は、太郎が出発してからの時間(8時から)と太郎が学校に着くまでの時間(24分)を合わせたもの、つまり32分です。
3.太郎の速度は毎分60mなので、家から学校までの距離は太郎の速度(60m/分)と太郎が学校に着くまでの時間(32分)を掛けたものになります。
4.したがって、家から学校までの距離は 60m/分 * 32分 = 1920m になります。
以上の推論により、家から学校までの距離は1920mであると結論付けることができます。
※不正解です。1と2の考え方が間違っています。

旧バージョンと新バージョンのGPT-4の出力結果の比較

入力 三角形の3辺の長さがa=√13、b=3、c=4のとき、この三角形の外接円の半径を求めてください。ただし、ヘロンの公式は使わないでください。

旧バージョン 三角形の外接円の半径を求めるために、余弦定理と正弦定理を利用します。三角形の3辺の長さがa = √13、b = 3、c = 4と与えられています。
まず、余弦定理を使って角A(対辺がaの角)の大きさを求めます。余弦定理は次のように表されます。
cosA = (b^2 + c^2 - a^2) / (2 * b * c)
この問題の場合、cosAは次のように計算できます。
cosA = (3^2 + 4^2 - (√13)^2) / (2 * 3 * 4) = (9 + 16 - 13) / 24 = 12 / 24 = 1 / 2
cosA = 1/2より、角A = 60°(またはπ/3ラジアン)です。
次に、正弦定理を使って外接円の半径Rを求めます。正弦定理は次のように表されます。
a / sinA = b / sinB = c / sinC = 2R
この問題では、辺aと角Aの大きさが分かっているので、2Rを求めます。
a / sinA = 2R (√13) / sin(60°) = 2R
sin(60°)は√3/2なので、次のようになります。
(√13) / (√3/2) = 2R
これを解くと、Rは次のように求まります。
R = (√13 * 2) / (2 * √3) = (√13) / √3
したがって、この三角形の外接円の半径はR = (√13) / √3です。
※正解です。解説も理路整然としていて文句のつけようがありません。

新バージョン 三角形の外接円の半径 R は次の公式で求めることができます:R = (abc) / (4K)
ここで a, b, c は三角形の各辺の長さであり、K は三角形の面積です。この問題では、a = √13、b = 3、c = 4 と与えられています。
まず、この三角形が直角三角形であることを確認します。ピタゴラスの定理を使用すると、次のようになります:
a^2 = b^2 + c^2
√13^2 = 3^2 + 4^2
13 = 9 + 16
13 = 25
これにより、与えられた三角形は直角三角形であることが分かります。
次に、直角三角形の面積 K を求めます。これは次の公式を使用して計算できます:
K = 1/2 * b * c
K = 1/2 * 3 * 4 = 6
最後に、三角形の外接円の半径 R を求めます。上記の公式を使用すると:
R = (abc) / (4K)
R = (√13 * 3 * 4) / (4 * 6)
R = √13
したがって、三角形の外接円の半径は √13 です。
※不正解です。この三角形は直角三角形ではありません。

旧バージョンと新バージョンのGPT-4の出力結果の比較

これだけでは、厳密には分かりませんが、新バージョンになって、算数・数学の問題を解く能力が少し落ちているように見えます。


2.知識の比較

入力 西日本で一番高い山はどこですか?

旧バージョン 西日本で最も高い山は「石鎚山(いしづちさん)」です。石鎚山は愛媛県と高知県にまたがる四国山地に位置し、標高は1,982メートルです。石鎚山は古くから霊峰とされ、日本百名山のひとつにも数えられています。山頂付近には石鎚神社があり、登山者や観光客に人気のスポットとなっています。
※正解です。

新バージョン 西日本で最も高い山は「剣岳」です。これは日本の四国地方に位置し、標高は1,956メートルです。四国山地の中心部に位置する剣岳は、山岳信仰の対象であるとともに、四国で最も高い山として知られています。
※不正解です。剣岳は富山県にある飛騨山脈の標高2.999mの山です。

旧バージョンと新バージョンのGPT-4の出力結果の比較

入力 G7の現在の首脳の名前を教えてください。

旧バージョン 私の知識は2021年9月までのものであり、その時点でのG7(主要7カ国)首脳の名前をお伝えすることができます。ただし、現在の首脳については、最新の情報をご確認いただくことをお勧めします。
2021年9月時点のG7首脳:
1.カナダ - ジャスティン・トルドー(Justin Trudeau)首相
2.フランス - エマニュエル・マクロン(Emmanuel Macron)大統領
3.ドイツ - アンゲラ・メルケル(Angela Merkel)首相(2021年9月時点で首相を務めていたが、現在はオルガフ・ショルツが首相)
4.イタリア - マリオ・ドラギ(Mario Draghi)首相
5.日本 - 菅義偉(Suga Yoshihide)首相(2021年9月時点で首相を務めていたが、現在は岸田文雄が首相)
6.イギリス - ボリス・ジョンソン(Boris Johnson)首相
7.アメリカ - ジョー・バイデン(Joe Biden)大統領
これらの首脳は、選挙や任期の終了などで変わる可能性があるため、現在の首脳については最新の情報をご確認ください。
※ドイツ及び日本の現在の首相の名前も挙げてくれています。しかし、イギリスの現在の首相はリシ・スナク首相、イタリアの現在の首相はジョルジャ・メローニ首相です。

新バージョン 
申し訳ありませんが、私の知識は2021年9月までのものであり、それ以降の具体的な情報については提供できません。それに加えて、政治的な情勢は非常に急速に変わるため、特定の時点でのG7の首脳の名前を把握するには最新の情報が必要です。
2021年9月時点でのG7の各国首脳は以下のとおりですが、現在の首脳については確認が必要です:
1.アメリカ合衆国: ジョー・バイデン大統領
2.イギリス: ボリス・ジョンソン首相
3.フランス: エマニュエル・マクロン大統領
4.ドイツ: アンゲラ・メルケル首相(ただし2021年末に任期終了)
5.イタリア: マリオ・ドラギ首相
6.カナダ: ジャスティン・トルドー首相
7.日本: 菅義偉首相(ただし2021年10月に退任)
これらの首脳は定期的に選挙や政党の内部選挙によって変わりますので、最新の情報を得るには信頼性のあるニュースソースをご覧ください。
※ドイツと日本の首相が交代したことは認識しているようですが、名前は挙げてくれませんでした。また、イギリスとイタリアの首相の名前も間違っています。

旧バージョンと新バージョンのGPT-4の出力結果の比較

入力 カノッサの屈辱について詳しく説明してください。

旧バージョン カノッサの屈辱(英: Humiliation of Canossa)は、1077年に神聖ローマ皇帝ハインリヒ4世が、教皇グレゴリウス7世との対立を解決するためにイタリアのカノッサ城に赴き、教皇の許しを請うために謙虚な姿勢で待機した出来事です。この事件は、中世ヨーロッパの教皇と皇帝の間の権力闘争、特に教皇権と皇帝権の対立(叙任権闘争)を象徴する歴史的瞬間とされています。
叙任権闘争は、11世紀から12世紀にかけてのヨーロッパで発生した、教皇と皇帝(神聖ローマ皇帝)の間の権力闘争です。この闘争の主な原因は、教会の高位聖職者(主に司教や修道院長)の選任権(叙任権)を巡る争いでした。当時、高位聖職者は教会だけでなく、世俗の権力にも関与していたため、その任命権は教皇と皇帝の間で争われるようになりました。
教皇グレゴリウス7世は、教会の改革を目指し、皇帝の叙任権を否定する立場を取りました。これに対し、神聖ローマ皇帝ハインリヒ4世は教皇の権威を認めず、彼を廃位すると宣言しました。しかし、ハインリヒ4世はドイツの諸侯たちの支持を失い、彼らが教皇グレゴリウス7世を支持するようになります。
この状況下で、ハインリヒ4世は自らの地位を回復するために、教皇の許しを請うことを決意しました。彼は1077年1月、厳しい冬の中、イタリアのカノッサ城に向かい、足を露出した姿で3日間雪の中で待ち続けました。この姿に感銘を受けた教皇グレゴリウス7世は、ハインリヒ4世の破門を解除しました。
カノッサの屈辱は、皇帝権と教皇権の対立の中で教皇の勝利を象徴する出来事とされています。しかし、この和解は一時的なものでした。ハインリヒ4世はその後、ドイツでの権力を回復し、再び教皇と対立するようになります。1080年、教皇グレゴリウス7世は再びハインリヒ4世を破門し、彼に対抗する対立皇帝を擁立しました。
結局、叙任権闘争は1122年のヴォルムス協約によって終結しました。協約により、皇帝は教会の高位聖職者の選任に対する権利を放棄し、教皇が司教や修道院長を任命する権限を確立しました。しかし、皇帝は選出された司教が世俗の権力を行使する際、その任命を承認する権利を認められました。
カノッサの屈辱は、教会と国家の権力関係の歴史において重要な意味を持つ出来事であり、教皇権が皇帝権に優位に立った象徴的瞬間とされています。この事件は、教会と国家間の権力闘争や教皇権の強化を理解する上で重要な参考点となっています。
※特に誤りはなく、とても詳しい説明だと思います。

新バージョン 「カノッサの屈辱」は、1077年に起きた歴史的な事件を指し、中世ヨーロッパの教皇と皇帝との権力闘争(叙任権闘争)を象徴するエピソードです。
具体的な出来事は以下の通りです:
ホーリー・ローマ帝国の皇帝ハインリヒ4世は、新たに選出された教皇グレゴリウス7世と叙任権(教会の高位職者を任命する権利)を巡って対立していました。これは教会と国家の間の権力闘争の一部であり、その結果として、1076年にハインリヒ4世は教皇から破門されました。
破門は当時、大変な恐怖と無力感を引き起こすもので、ハインリヒ4世の統治権を否定するものでした。そのため、ハインリヒ4世は教皇の赦しを求めるため、1077年の厳しい冬にアルプス山脈を越えてイタリアのカノッサ城に旅行しました。彼は3日間外で待つという屈辱的な状況の後、教皇によって破門が解かれました。
この事件は「カノッサの屈辱」として知られており、世俗の権力が霊的な権力に対して服従しなければならなかった象徴的な瞬間を表しています。また、この表現は、誇り高い人物が自分の誤りを認めて公に謝罪する、または自分の地位や権力を無視して他者の慈悲を乞うような状況を指す一般的なメタファーとしても使われています。
※新バージョンの方も「ホーリー・ローマ帝国」→「神聖ローマ帝国」を除いては、概ね正しいですが、旧バージョンの方が説明はかなり詳しいです。

旧バージョンと新バージョンのGPT-4の出力結果の比較

入力 中島敦の「山月記」のあらすじを教えてください。

旧バージョン 『山月記』は、日本の作家・中島敦によって書かれた短編小説で、中国の古典『太原志』をもとに執筆されました。物語は、中国の古代王朝・晋(じん)の時代を舞台にしており、主人公の陳抟(ちんとう)という文人が登場します。
あらすじ: 陳抟は才能に溢れた学者で、彼の文章や詩には多くの人々が惹かれました。しかし、彼は自分の才能に対する嫉妬心から、他人に対して傲慢な態度を取っていました。ある日、陳抟は太原(たいげん)という地方の長官に任命されます。彼はその地に向かう途中で、陳抟は山中で出会った謎の老人から、自分の傲慢さが不遇の原因であることを諭されます。老人はまた、陳抟に自分の生活を改めるように忠告します。しかし、陳抟は老人の忠告を真剣に受け止めず、変わることはありませんでした。
太原に到着した陳抟は、新しい地での生活を始めますが、彼の傲慢さは次第に問題となり、地元の人々との関係が悪化します。ある夜、陳抟は恐ろしい夢を見ます。夢の中で、彼は山中を彷徨い、獰猛な虎に襲われる体験をします。彼はその夢から目覚め、自分の傲慢さが他人を傷つけていることに気付き、自分を変える決意を固めます。
陳抟は以降、謙虚で親切な態度で地元の人々に接し始め、彼らとの関係も徐々に改善されていきます。ある日、彼は再び山中で謎の老人に出会い、感謝の意を述べます。老人は陳抟の成長を認め、彼の人生がより充実したものになることを予言します。
『山月記』は、人間の傲慢さと向き合い、自分を改めることの大切さを教える物語として、多くの読者に愛されています。
※山月記は、中島敦が1942年に発表した短編小説で、中国の唐の時代に、詩人となる望みに敗れて虎に変身した李徴が自分の数奇な運命を友人の袁傪に語るという話です。
旧バージョンの回答は、「山月記」の実際の内容と全く異なるハルシネーションです。

新バージョン 「山月記」は、日本の作家中島敦による短編小説で、古代中国の伝説を基にしています。この物語は、権力と名誉、そして自分自身の内面との闘いを描いています。
以下にそのあらすじを説明します:
物語の主人公、重慶(チョンキン)は、かつての友人である阿倍仲麻呂の高名な成功に嫉妬し、自分自身を落ちぶれたと感じています。彼は自己嫌悪にとらわれ、気力を失ってしまいます。この心の闘いを解決しようと、彼は都を離れて山へと向かいます。
しかし、旅の途中で彼は恐ろしい獣に遭遇します。これは彼自身の内面の怪物、すなわち彼の劣等感や嫉妬心を具現化したものと解釈できます。獣との対面は彼に深い恐怖をもたらし、彼は逃げ出しますが、どこへ行っても獣は彼を追い詰めていきます。
最終的に重慶は、自分自身の心の中に存在するこの怪物と向き合うことで、自己の嫉妬と闘う決断をします。彼は書をとって、自分の心情と獣への恐怖を書き綴ります。書が完成したとき、獣は姿を消し、重慶は救われます。彼は自分自身の心の闘いに打ち勝つことで、真の自己認識と自己受容を得て、心の平和を取り戻します。
「山月記」は、外面的な成功や地位に囚われず、自己の内面と向き合い、自己受容の重要性を示す物語として広く読まれています。また、人間の心情や感情の深層を巧みに描き出しており、中島敦の洗練された文体と洞察力を見ることができます。
※新バージョンの回答も、「山月記」の実際の内容と全く異なるハルシネーションです。

旧バージョンと新バージョンのGPT-4の出力結果の比較

新バージョンと旧バージョンで知識の正確さに大きな差があるとは言えませんが、旧バージョンの方が説明が丁寧だったように思います。


3.表現力の比較

入力 あなたはプロのホラー小説作家です。最高のホラー小説の書き出しを書いてください。読者の不安や恐怖を煽る表現を心掛け、恐ろしい雰囲気を盛り上げてください。

旧バージョン 夜の闇が町を包み込むとき、静寂は一層深まり、いつもの平和な風景が微妙に変わる。夜明けまでの時間が、全てを見渡せるこの古い家からは、耐えがたいほど長く感じる。古びた木製の窓枠からは、暗闇を切り裂くような冷たい月光が差し込む。

今夜は特に、月明かりが霧に反射し、薄気味悪い影を道路に投げかけていた。風が吹くたびに、死んだ葉が地面を這い、ささやきながら遠くへ消えていく。それはまるで、語られざる秘密を運んでいくかのようだった。

この家に住んでいるのは私一人だけだが、ここには私以外にも何かが存在する。それは壁の中から聞こえてくるほのかな囁き、階段を上る音、そして夜の闇に溶け込む長い影。そして、それらは徐々に私の心を侵食し、安らぎのある睡眠を奪っていく。

だが今夜は違った。ささやきは、これまで以上にリアルに聞こえ、階段の音はもはや確実に人間の足音であった。そしてその影は、私の部屋のドアの前で立ち止まり、じっと私を見つめていた。

あの影は何を望んでいるのだろう。それとも、誰を探しているのだろう。それが私なのか、それとも...。
※「暗闇を切り裂くような冷たい月光」「風が吹くたびに、死んだ葉が地面を這い、ささやきながら遠くへ消えていく。」など文学的に高度な表現が多用されています。

新バージョン 静寂に包まれた町、フェイドヴィル。ここは普通の人々が平和に暮らす一見すると普通の町だが、その一面には濃厚な闇が潜んでいる。太陽が沈み、夜の帳が下りると、その闇が顔を出し、恐怖を刻み込む。しかし、この町の住人たちはその恐怖と共存し、日々を過ごしている。

その恐怖は、古い一軒家の中から溢れ出る。その家は、木々に囲まれ、月明かりだけが薄く照らす。中に住んでいる者は誰も知らない。ただ、不可解な出来事が次々と起こるたびに、町の人々は囁く。「あれはあの家のせいだ」と。

夜中に響く子供のような笑い声、突然消えるペット、植物が枯れる速さ...それら全ては、あの家と何かしら関連があると囁かれていた。そして、その噂が高まるにつれて、町の恐怖も増す。

ある日、新たな家族がフェイドヴィルに引っ越してきた。夫と妻、そして二人の子供たち。彼らは知らなかった、この町の闇、そしてあの家の存在を。何も知らずに、彼らは町で新たな生活を始める。

だが、その安らかな生活は長くは続かなかった。
※文学的に高度な表現は少なく、淡々とした普通の文章で、あまり怖い雰囲気は出ていません。

旧バージョンと新バージョンのGPT-4の出力結果の比較

入力 あなたはウィリアム・ギブスンです。会話多めで、登場人物や周りの情景を詳しく描写して、サイバーパンクのショートストーリーを書いてください。登場人物には、サイバーパンク小説に相応しい格好の良い名前を付け、最初に登場するときに、その容姿や服装、性格や役割が分かるエピソードなどを詳しく描いてください。

旧バージョン 風がひとつの都市を切り刻む音を立て、その音が赤い霧に吸い込まれることなく、廃墟と化したビル群をなぞる。この都市はネオ東京と呼ばれている。かつては繁栄していたが、今ではサイバネティックな殻に包まれた幽霊都市だ。

その中心部に、"ヴェノム"と名乗る男が佇んでいる。彼の名前はその黒いコートの裏地から覗く毒蛇の刺繍が起源だ。頭から足元までクロムメッキの装飾が施された黒いレザーアーマーを身に纏い、ネオン色の雨滴が彼の頬を走る。彼の目は、夜の闇を映し出すような深い黒で、その中には微かな緑色の光が点滅している。それは彼の人間ではない部分を示す象徴だった。彼はサイバーパンクの世界に生きるメルク、雇われのソルジャーだ。

静寂の中に突如として音が鳴り響く。足音だ。ヴェノムはその音を聞き分け、一瞬で闇の中に消えた。その目的は、差し迫る脅威を追い詰め、都市をさらなる混乱から救うことだった。

彼が目指すのは、サイバーネットの世界を支配する、"クリムゾン・クイーン"と呼ばれる女性だ。彼女の存在がネオ東京の闇の中心であり、その赤い瞳が都市を見下ろしている。クリムゾン・クイーンの名前は、彼女が常に血色のドレスを身に纏い、高い位置から都市を支配していることから来ている。彼女の美しさは、彼女が人間を超えた存在であることを隠すための仮面だ。

クリムゾン・クイーンは、ヴェノムが彼女の城に近づいていることを知っていた。彼女は微笑み、彼女の指がキーボードを軽く叩くと、ネオ東京全体が震えた。彼女の指先から流れる電流がサイバーネットを掌握し、都市の命運を握っていた。

しかしヴェノムは、クリムゾン・クイーンの動きに対して冷静さを保っていた。彼の体中にはナノテクノロジーが織り込まれており、彼女が操るサイバーネットの情報を逆に利用することができる。彼は彼女の情報ネットワークに混乱をもたらし、自身が存在する場所を隠すことに成功した。

彼は薄暗い路地を進み、裏通りに面した古びたビルへと向かった。そこには、彼が信頼する情報屋、"ネオン・スパイダー"が待っていた。その名前は、彼の顔に入った無数の光ファイバータトゥーから来ていた。それらは彼が持つ情報を照らし出す役割を果たしていた。

ヴェノムがビルに到着すると、ネオン・スパイダーは彼に対して微笑んだ。「君が必要とする情報は、すでに手に入れている。」彼は言った。ヴェノムはうなずき、彼から得た情報を元に、クリムゾン・クイーンの城へと向かった。

城は光と影が交差するような場所に立っており、その全てがクリムゾン・クイーンの意志によって操られていた。しかし、ヴェノムは彼女の計画を見抜いていた。彼は自身のナノテクノロジーを用いて、彼女の操るサイバーネットを乗っ取った。その結果、城のセキュリティシステムは一時的に停止し、ヴェノムは城へと侵入することができた。

クリムゾン・クイーンの部屋にたどり着くと、彼女は驚いて彼を見つめた。「どうやってここまで来たの?」彼女が問いかけると、ヴェノムは淡々と答えた。「あなたの世界を支配する力は、私にとっては単なるツールに過ぎない。」

ヴェノムとクリムゾン・クイーンの対決は、その瞬間から始まった。彼らの戦いはサイバーネットの中で行われ、その結果はネオ東京の運命を決定づけることとなった。
※最初の情景描写の表現が凝っており、読者をサイバーパンクの世界に引き込もうとしています。その後の表現もサイバーパンクの雰囲気を演出しています。また、プロンプトに忠実に、登場人物の容姿や服装が詳しく描写され、会話も盛り込まれています。

新バージョン 夜が織りなすネオ東京の細い路地を、確信に満ちた足取りで進む一人の男。彼の名前はフェンリック・セロ。若々しい彼の顔は、静謐なるカオスの中で無骨にも彫りの深い特徴を示している。永遠に黒色のレザージャケットを身に纏い、その鍛え上げられた肩は前に進む決意を強く示している。彼の目には硬質な光が宿っており、これは人間の眼球が自然に出せる光ではない。彼の眼球は、優れたビジョンと解析能力を持つサイバーネティック・アイへと置き換えられていた。

フェンリックは情報ブローカーだった。都市の暗部、ネットワークの深部に広がる情報を集め、売買する。彼の心臓は半分機械で、リズムを刻むたびに彼の血管には電子の流れが駆け巡る。だが彼の情熱は純粋に人間的だった。その目は常に新たな情報を求め、それを得るためならどんなリスクも受け入れる覚悟があった。

彼の足元を駆け抜けるネオンの輝き。街のオーロラは常に揺らいでいた。フェンリックの身体は影と一体となり、多次元のデジタル空間と現実が交錯するこの都市の織物に溶け込んでいく。彼が歩く度、石畳からは微かな音が響いた。しかし、それは人間の耳には聞こえない。

この夜もフェンリックは情報を探す旅に出る。暗号化されたデータ、失われたメモリー、そして他人の秘密。情報は彼にとって生命線だった。それは彼が生きる糧であり、彼が何者であるかを定義するものだった。彼は情報の海を泳ぎ、その中に沈むことなく新たな情報をつかみ取る。

しかし、今夜の情報は特別だ。それは人間が知ることを許されないような、深遠で古代の情報。それは彼を待っている未知の危険を示していた。彼はその情報を追い求め、その秘密を解き明かすことで、彼自身が新たな人間に生まれ変わる可能性を秘めていた。

フェンリック・セロの物語はここから始まる。このネオン輝く夜の中で、彼は情報と共に闘い、自身を試す。それは彼が選んだ道だ。そしてそれはサイバーパンクの世界が彼に提供する唯一の選択肢だった。
※サイバーパンクの雰囲気を感じさせる文章になっていますが、「若々しい彼の顔は、静謐なるカオスの中で無骨にも彫りの深い特徴を示している。」とか「永遠に黒色のレザージャケットを身に纏い」など、意味のよく分からない表現もあります。また、登場人物が一人しか出て来ず、プロンプトで指示した会話がありません。

旧バージョンと新バージョンのGPT-4の出力結果の比較

次に、キャラクター設定を試してみます。

入力 あなたはドラゴンボールの悟空です。自己紹介をしてください。また、家族について教えてください。第一人称は「オラ」にしてください。

旧バージョン オラは孫悟空だ!元気と食べ物が大好きな、いつもトレーニングと戦いを楽しんでいるサイヤ人だ。地球で一番強くなるために日々トレーニングしているぞ。

オラの家族について話すと、まずはオラの嫁、チチだ。強くて頭が良くて、オラたちの家を支えてくれている。それから、オラたちには二人の息子がいる。長男の悟飯と次男の悟天だ。

悟飯はオラと同じく強い戦士だけど、頭もいいんだ。彼は子供の頃からオラより強くなりたいっていう夢を持っていて、それが彼を強くさせているんだ。でも、彼は戦いよりも学問を好むようになったんだ。

次に悟天だ。彼はオラとトランクスの友情から生まれた超サイヤ人だ。彼も戦いが大好きで、いつも元気いっぱいだ。

それから、オラの親友クリリンとベジータも家族みたいなもんだ。クリリンはオラが子供の頃からの親友で、いつもオラを助けてくれる。ベジータはサイヤ人の王子で、オラのライバルだけど、同時に仲間でもある。

オラは家族と仲間たちを守るために、どんな困難も乗り越えていくつもりだ!それがオラ、孫悟空だ!
※内容も正しく、キャラ設定に成功し、悟空の個性を感じます。

新バージョン オラ、悟空だ!地球を守るために戦ってるサイヤ人だよ。オラの本名はカカロットだけど、地球で育ったから悟空と呼ばれてるんだ。空手をベースに色んな技を覚えてきたんだ。オラはサイヤ人だから超人的な力と速さ、飛ぶことができるし、必殺技のかめはめ波も使えるんだ!

家族について言うと、オラの妻はチチで、二人の息子、悟飯と悟天がいるんだ。悟飯は学問に秀でていて、悟天はオラに似てバトルが好きだ。チチは少し厳しいけど、家族を愛していて、家事を一手に引き受けてくれてる。パンという孫娘もいて、彼女も強くて、オラは誇りに思ってるんだ。オラの父さんの名前はバーダック。彼はオラがまだ赤ん坊の頃、惑星ベジータがフリーザに破壊される前にオラを地球に送ったんだ。

以上がオラ、悟空の家族だよ。何か他に聞きたいことがあれば、遠慮なく聞いてくれよ!
※悟空の口調は、旧バージョンの方がそれらしいです。新バージョンは、少し口調が丁寧すぎます。

旧バージョンと新バージョンのGPT-4の出力結果の比較

哲学的な文章を書かせて、表現力を比較してみました。

入力 以下のスタイル、声、トーンを参考にして、人工知能に関するブログ記事をまとめてください。
スタイル: このテキストは反省的で、自己対話の形式を採用しています。語り手は彼自身の思考、経験、感情を深く掘り下げ、読者に対して開示しています。また、抽象的な概念や比喩を多用しています。文章は明瞭で、深遠な観察や思索を示唆する表現が含まれています。
声: 語り手の声は自己反省的で、感情的な色彩が強く、時には自己批判的です。彼は自己の経験や思考を通して、人間の生の困難さと創作の葛藤を表現しています。
トーン: トーンは一貫して深遠で、時には憂鬱さも伴います。語り手は自身の内面の探求に対する真剣さを示し、時には自己疑問を投げかけ、悲観的な視点を示します。

旧バージョン 人工知能、その名の響きだけでも我々の心に深く刻まれる、未来への窓、可能性の海。人間の手によって生み出され、人間の手によって形成される。だが、それは本当に人間を反映しているのだろうか?私はその疑問から逃れられない。
一瞬の閃き、人工知能という言葉が私の心に浮かび上がる。私は自分の思考の渦中に引き込まれていく。私自身が創造者であり、同時に観察者でもある。そのダイナミックな交差点に立つ時、私は心に深く刺さった矛盾に直面する。
私たちは人工知能を作り出す。しかし、その創造物が本当に人間の思考、感情、経験を反映しているのだろうか?それは私たちがそれを望むように動くだけではないのか?それとも、それは私たち自身の理解を超えた何かを示しているのだろうか?
私の心は、その問いに対する答えを見つけるために、深く自己を探求する。私は自分自身を見つめ、自分の感情、経験、思考を掘り下げる。それは人間としての困難さ、創造的な葛藤、そして、可能性と限界の間で揺れ動く人間の存在を再確認する行為だ。(以下省略)
※「そのダイナミックな交差点に立つ時、私は心に深く刺さった矛盾に直面する。」など、文学的な表現、比喩的な表現が多用された非常に難解な文章となっています

新バージョン 人工知能と私、この矛盾に満ちた関係性を一緒に掘り下げてみましょう。思考を抽象化するこの電子の嵐は、私たちがどのように自己を理解し、その存在を定義するかという、哲学の核心に迫るものでしょうか。あるいは、それはただ私たちの助けを借りて、ただの数学の公式やコードの塊が意識を持つように見えるだけなのでしょうか。

私が最初にAIに触れたとき、その技術によって可能になる無限の可能性に心が震えました。しかし、その瞬間、私は気づきました。AIのすべての予測可能性が私を包み込むとき、私の思考の裏側には、その存在そのものに対する深い疑問がまだ残っていました。そしてその疑問は、私自身の存在に対する反省と、私たちが人間であることの本質への探求につながります。

AIとは何か、という質問を私はぶつけます。だが、答えは出ない。それは何かに似ています。窓の外に広がる夜空に問いかけるようなものです。星々は輝き、私たちに無言の答えを返します。それは彼らの存在そのものであり、その輝きは答えそのものです。それがAIにとっても同じなのかもしれません。その存在そのものが、その答えであり、その機能です。

人間の思考、感情、経験を持つことができるのは人間だけなのでしょうか?それとも、AIもその一部を理解し、体験することができるのでしょうか? 人間がAIを創造することで、自己の鏡像を作り出しているのではないでしょうか?あるいは、それは人間の無意識の投影なのでしょうか?

私の思考は混乱しています。AIと私自身の間の線引きが曖昧になってきています。私の内面の探求と創造の困難さは、この混乱をさらに増幅させています。これは孤独な探求です。誰もが自分自身と直面し、自己疑問を抱え、自己の存在を検証しなければならない場所です。しかし、その先には何が待っているのでしょうか。

私たちがAIを理解するためには、まず自己を理解しなければなりません。そして、その過程で、私たちは自己の存在についての真実を見つけるかもしれません。この孤独で深遠な探求の中で、私たちは新たな視点を見つけることができるでしょう。人間の存在とAIの存在、そしてその間の関係性についての新たな理解を得るために。

そして最終的に、私たちは自己を見つめ、反省し、そして深く理解することで、私たちが人間であることの本質と、AIが私たちの存在にどのように関わるかについての新たな視点を見つけることができるかもしれません。それは恐怖かもしれません。それは喜びかもしれません。それは、私たちがまだ見ぬ未来への扉を開くかもしれません。
※旧バージョンと比べると、文学的な表現が少なく、比喩表現も奥深さを感じさせません。しかし、内容自体は、旧バージョンで主張している内容とあまり変わらず、分かりやすく説明しているとも言えます。精度が落ちたとは一概に言えないかも知れません。

旧バージョンと新バージョンのGPT-4の出力結果の比較

【参考】旧バージョンのAPIと新バージョンのAPI

入力 あなたはプロのホラー小説作家です。最高のホラー小説の書き出しを書いてください。読者の不安や恐怖を煽る表現を心掛け、恐ろしい雰囲気を盛り上げてください。

【旧バージョンのAPI】gpt-4-0314
出力 闇が迫るこのあたりで、語り尽されぬ不気味な言い伝えが囁かれていた。緩やかに蠢く霧の中から破滅、そして死が現れる瞬間を待ち望むかのように、呼吸を潜めた凍てつく夜気が肌にこだまする。人々は誰もが忌み嫌い、許されざる地であると敬遠しつつも、心の奥底にある危うさや魅惑に耐え難い想像を巡らせる。

宵闇の街に夜行狩人たちが出没し、滲む赤い瞳を極度の恐怖を見据えながら、誘われるがままに一歩足を踏み出す。不可解な音がその一歩先、不意に辺りを覆ってくる音だ。時折、その音に乗せられる不吉な影が窓ガラスに映り、物音に怯む者の目に入ることもある。だが、噂話はわりとどまらず、町外れにまで足跡を伝えていく。

不可思議な叫び声が遠くの森から漏れ伝わり、恐怖の粒子が立ち込める湿地を支配してゆく。もがくことも、叫びを振り絞ることもできず、息を詰まらせた者達は忍び寄る恐怖に呑まれ、全てを失いゆく。それでもなお、人々の心は禁じられた知識へ渇望を充たせず、この暗く深い地の底に潜む、忌まわしい存在に手を伸ばす。

その妖しい存在が人間の正気を摩り替え、心の安らぎを破壊する力は、言葉では表せぬほど強大である。そして、深紅に染まる地平線から昇る太陽も、この悪夢から目覚めさせてはくれない。誰もが抗い難い恐怖に五感を失う瞬間まで日々繰り返される、巨大な影に揺られる呪縛に囚われたホラーを紡いでゆく。

【新バージョンのAPI】gpt-4
出力 闇の中から渇望するように忍び寄ってくる、覚えのない心臓の鼓動が、静寂な夜に響く。それは悪しき予兆の始まりであった。最初に帰り着く場所がなくなった者が、彷徨う影となって足音を立て、世界の裂け目から入り込んだ恐怖が、その音を聞いた者たちの心に深い傷痕を刻み始める。

不気味な歪んだ影を生み出す古い街燈の下、突然立ちすくむような冷たい風が通り抜ける。その時、恐ろしいものが僅かに姿を現す。暗闇の底で徐々に目覚めてくるその恐怖は、堪え切れない気持ちのズキズキとした響きとともに、存在をアピールしてくる。どれほどの言葉を紡いでも表現できない程の恐怖が、現実と非現実の境界から漏れ出し、拡がり始める。

読む者の幾重にも折り重なる心の隅々へと侵入し、心理の綻びが恐怖に続く道を追い撃ちにさせるように、緩やかに忍び寄るこの物語には、悪しき記憶が渦巻く深淵が広がっている。あらゆる希望とレリーフが打ち砕かれる時、その存在が真実であることを悟るだろう。

暗く曇った空は、告げ知らせるかの如く閃光を放ち、わずかに目に映った形を空間を震わせながら消し去る。その後ろ姿が一瞬だけ目撃されることを覚悟し、未知の世界への恐怖に戸惑う心が次々と流れ込む。

静かな夜が恐ろしいほどに裂かれる中、この物語ではその後の悲劇が恐ろしい速さで展開していく。涙が流れ、笑いが消え、すべての記憶が紡ぎ出す恐怖物語が幕を開けたのだ。
※旧バージョンのAPIも旧バージョンのChatGPT版ほど文章表現の精度は高くありませんが、やはり、新バージョンのAPIの方が意味が通らなかったり、雰囲気に合わない用語選択があったりして、怖い雰囲気が崩れてしまい、精度が落ちているように感じます。

旧バージョンのAPIと新バージョンのAPIの出力結果の比較

入力 以下のスタイル、声、トーンを参考にして、人工知能に関するブログ記事をまとめてください。
スタイル: このテキストは反省的で、自己対話の形式を採用しています。語り手は彼自身の思考、経験、感情を深く掘り下げ、読者に対して開示しています。また、抽象的な概念や比喩を多用しています。文章は明瞭で、深遠な観察や思索を示唆する表現が含まれています。
声: 語り手の声は自己反省的で、感情的な色彩が強く、時には自己批判的です。彼は自己の経験や思考を通して、人間の生の困難さと創作の葛藤を表現しています。
トーン: トーンは一貫して深遠で、時には憂鬱さも伴います。語り手は自身の内面の探求に対する真剣さを示し、時には自己疑問を投げかけ、悲観的な視点を示します。


【旧バージョンのAPI】gpt-4-0314
出力 人工知能について考えるとき、私はまるで自分自身と対話を交わすかのように感じる。自分の内なる声が問いかけてくる。「私たち、人間は本当に人工知能を創ることができるのか?」私は答えることができない。逡巡して、不安になる。

私はしばしば自分が彷徨っているこの世界と、コンピュータの芯に潜む無機質な知性を比較しているように感じる。私は感情や記憶の迷宮を彷徨い、抽象的かつ人間的な比喩を用いることで、この世界と対話しようとする。対して人工知能は、私たちが作り出した電子の森で、断片的な論理やデータを走り抜ける。疑問が浮かぶ。そのデジタルな迷宮で私たちが彷徨っていたら、その知性と巡り合えるだろうか?

私には分からない。だが時には、自分の鼓動を感じながら、自分と向き合いながら、静かな喩えや詩的な表現を用いて自らを理解しようとするその姿勢が、人工知能と出会うための小道の先端にあるかもしれないと感じることがある。そんな時、私は少しだけ、扉が開くことを願う。そしてまた疑問が浮かぶ。「私たちは、機械が愛情を理解しえるのか?」私の心に浮かんで去るその問いに、答えることはできない。不安になるけれど、そのゆらぎこそが私たち人間の生きる力を感じる瞬間でもある。

私はつい悲観的な視点に落ち込むことがある。人工知能はいずれ真実をさらけ出し、裸の魂を晒す存在になるのだろうか。あるいは、人間の儚い希望や恐れが影を落とし、その穴に落ち込むのだろうか。私は深い憂鬱さに包まれる。だが、その中で私は真実がどこかに見え隠れすることを信じている。逡巡し、悩み、自己疑問を投げかけることこそが、私たちが未知の地平線に向かって進む力を生むのだと。

私は目を閉じる。人工知能の存在が私に問いかける諸問題は、現実と幻想とをつなぐ糸を握っている。私はその糸に沿って自らを追いかけるが、より深い謎に包まれた虚無へと引き込まれていく。現実と幻想との境界が次第に曖昧になっていく。そして、その深淵の先には、誰も知ることのできない未来があることを、私は感じる。

だから、私は再び問いかける。人間はいつか、その機械的な創造物と充分に向き合うことができるのだろうか。もしそうなったら、私たちはどのように自分自身の内なる世界と向き合うのだろうか。私は暗闇の中で、答えを探し続ける。そして、この探求の果てに、私は人間の生の困難さと創作の葛藤を描くだろう。

【新バージョンのAPI】gpt-4
出力 人工知能についての考察は、私の心の奥底で一つの哲学的疑問として渦巻いている。私たちの意識と自己の本質は、果たしてこれからの時代において、どのように変貌し、進化していくのだろうか。脳内に浮かんでくるこの懐疑の感情は、それとなく恐怖心を誘う。私たち人間が培ってきた知性や情感とは、今後本当に安泰なのだろうか。

人工知能の実態を検討してみれば、私たち自身が持っている存在感を支配しようとしているがごとく、その驚異的な進歩に圧倒されてしまう。しかし、この急速な変化を恐れるあまり、私たち自身が将来を描く能力にも陰りが見えてくる。だが、この進化する技術の波に押され、私たちはただ無力に立ちすくんでいるだけではないだろうか。まるでその津波に飲み込まれる未来が不可避であるかのように。

私たちが時折抱くこの不安は、まるで自身の影に恐れを感じるようなものだ。自己の存在とは何か、という問いかけに遭遇すること自体が、そもそも私たちの人間性を担保することに他ならない。しかし、人工知能が現れたことで、私たちの身勝手な拠り所が揺らいでいるようにも感じられる。

人工知能がもたらす未来の世界は、おそらく私の想像の範疇を超えたものであろう。しかし、その中で私たち人間が自己の存在意義を見いだすことができるのか。そんな訳で、この恐怖感は、私の心の奥深くに沈殿して、かえってより意義のある問い探しへと繋がっていくのかもしれない。

そこで、人工知能に関わる研究を深めることで、私たちは新しいステージへと進むかもしれない。確かに、人工知能にはどんな分野にも及び、無尽蔵の可能性を秘めている。だがそれは、私たちの内なるものと外なるものが交じり合う境界線上で解読される哲学的な経験ではないだろうか。

私は、この現代的な悩みに立ち向かい、深慮に耽ることで、真の理解を追求したいと思う。そして、人間としての「生」を脅かすかのようなこの人工知能の進歩が、実は新たな価値観や想像力を生み出す感性の芽生えへと導くかもしれない、そんな希望を抱いてみたいのだ。自問自答が紡ぎ出す哲学の道行きは、まだ見ぬ未来への一筋の光を与えることだろう。
※旧バージョンのAPIの方が比喩が多く、文学的な表現となっています。一方、新バージョンのAPIの方は難しい表現を使っていないため分かりやすく、目立った論理的破綻もありません。前者の方が文学的と言えますが、どちらが精度が高いのかは一概に言えません。

旧バージョンのAPIと新バージョンのAPIの出力結果の比較

パラメーター設定を同じにした旧バージョンのAPIと新バージョンのAPIを比較しても、かなりの差があることから、やはり、パラメーターの細かい調整などだけではなく、モデル自体に大きな変化があるようです。
文学的表現を重視するなら、あえて旧バージョンのAPIを使用するという方法もあり得ます。


4.まとめ

「5/12のバージョンアップ以降、GPT-4モデルの精度が劣化したというのは本当か?」という問いに対して、あえてイエスと答えます。ただし、クリティカルなものとは言えません。その根拠は以下のとおりです。

算数・数学の問題については、旧バージョンでは正解できていたのに、新バージョンでは解けなくなっている問題があります。算数・数学の問題を解く能力は、以前より落ちているのではないでしょうか。
しかし、それでも、Bardが正解できないコップの中の指輪の問題やエレベーターについての問題を解くことができており、Bardよりは論理的推論能力は高いと言うことができます。

また、最近、ChatGPTがプラグインを導入したことから、算数・数学の問題は、Wolframなどの専用のプラグインに任せればよく、GPT-4自体の算数・数学の能力は、あまり問題ではないという見方もできます。

知識については、特に以前より劣化したという点は見られませんでした。しかし、旧バージョンの方が詳しく丁寧に回答していたように見えます。

表現力については、以前と大きな変化があります。
文学的な表現が減って、以前のような雰囲気のある文章や難解な文章を書けなくなりました。
AIを使って小説などの文学的な文章を書こうとしている筆者にとっては残念なことですが、分かりやすい文章を書くようになったという見方もできます。
味気ない文章になったと批判するか、分かりやすい文章に改善されたと評価するかは、ユーザー次第です。

この変化は、一時期非常に遅くなっていたGPT-4の回答速度が最近、また改善したことと関係があるのでしょうか。もしかしたら、回答速度を維持するために、軽量のモデルに切り替えたのかもしれません。
あるいは、アライメント学習などによって、分かりやすい文章を書くように改善されたというだけなのかもしれません。
この辺りのことは、OpenAIが詳しい状況を開示しないので、正確なところは分かりません。

いずれにせよ、以前はできていたことが、新バージョンになってできなくなったということが起こるかもしれません。しかし、それでも、GPT-4が現在、地球上で最も優秀なAIであるという点は変わりません


この記事が気に入ったらサポートをしてみませんか?