GPT-3の新しい言語モデルが発表されたので色々と質問してみた
今月（2022年11月）29日、OpenAIから大規模自然言語処理モデルGPT-3の新しいモデル「text-davinci-003」が発表されました。
text-davinci-003は、これまでのモデルよりも高品質で長い文章を生成することができ、より複雑な指示にも対応することができます。
今回も色々と質問して、以前のモデルと比較してみました。
１．GPT-3の新しいモデルの概要
GPT-3は、2020年6月にOpenAIが発表した1,750億のパラメーターを持つ巨大自然言語処理モデルで、約45テラバイトの大量のテキストデータで事前学習しています。
GPT-3は、ファインチューニング無しでも、高精度な自然言語処理が行えることが特徴で、人間の書いた文章と見分けのつかない自然な文章を生成できるとして、話題になりました。
GPT-3で作成した偽ブログ記事がニュースサイトで1位になったり、GPT-3を使用したチャットボットが掲示板で誰にも気づかれずに会話を続けたという事例も報告されています。
なお、今年の秋以降、さらに高性能のGPT-4がリリースされると話題ですが、現在のところ、まだ発表はありません。
OpenAIは、今年（2022年）1月に、差別的な表現や暴力的な表現が含まれないように配慮し、従来よりもユーザーの意図に従った対応をするInstructGPTという新しい言語モデルを発表しており、今回発表されたtext-davinci-003は、このInstructGPTを土台として、開発者にとって重要な数々の動作を改善したものとなっています。
text-davinci-003の特徴は、以下の3点です。
より明確で説得力のある質の高い文章を生成できる。
より複雑なユーザーの指示にも対応できる。
より長い文章を生成することができる。
それでは、実際にtext-davinci-003を使ってみましょう！
２．GPT-3の利用方法
GPT-3は、以下のOpenAIのサイトにアクセスし、「GET STARTED」か「SIGN UP」をクリックして、アカウントを作成するだけで簡単に利用することができます。
GPT-3の利用は基本的に有料で、text-davinci-003の利用料金は、1000トークン（英文で約750ワード）で0.02ドル（約2.8円）です。
2022年11月時点では、アカウント登録時に18ドル分の無料クレジット（有効期限3か月）がもらえますので、気軽に試してみてください。
ログイン後に、画面左上の「Playground」をクリックすると、広大なテキスト入力画面が現れます。ここに指示する文章を入力して、左下の「Submit」をクリックすると、GPT-3が回答を返します。
なお、使用したトークン数は、画面右端の数字で見ることができます。
GPT-3の使用する言語モデルは、右端のModelのところで切り替えられますので、「text-davinci-003」にセットしてください。
ここで、「Show more models」をクリックすると、以前のバージョンの「text-davinci-002」などに切り替えることもできます。
また、これまでの使用料や使用期限は、右上のアカウント名をクリックして、プルダウンメニューから「Manage account」を選択して、確認することができます。
３．英語解答と日本語回答の比較
GPT-3は、日本語の質問にも回答してくれますので、text-davinci-003モデルに同じ内容の質問をして、英語の回答と日本語の回答を比較してみました。
問 Please elaborate on the law of universal gravitation.
（訳）万有引力の法則について詳しく説明してください。
答 The law of universal gravitation states that every object in the universe attracts every other object with a force that is directly proportional to the product of their masses and inversely proportional to the square of the distance between them. This means that the greater the mass of an object, the stronger its gravitational pull. The farther away two objects are from each other, the weaker the gravitational force between them. The law of universal gravitation was first proposed by Isaac Newton in 1687, and it has since been used to explain the behavior of planets, satellites, stars, and even galaxies. It is an essential part of the modern understanding of gravity and its effects on the universe.
（訳）万有引力の法則とは、宇宙に存在するすべての物体は、他のすべての物体を、それらの質量の積に正比例し、それらの間の距離の二乗に反比例する力で引き寄せるというものである。つまり、ある物体の質量が大きければ大きいほど、その引力は強くなる。また、2つの物体が互いに離れているほど、両者の間の重力は弱くなる。万有引力の法則は、1687年にアイザック・ニュートンによって初めて提唱され、以来、惑星、衛星、恒星、さらには銀河の振る舞いを説明するために使われてきた。現代の重力と宇宙への影響を理解する上で、欠かすことのできないものである。
※正確で適切な素晴らしい回答です。
問 万有引力の法則について詳しく説明してください。
答 万有引力の法則とは、17世紀にイスマエル・カントが提唱した物理学の法則です。この法則によると、あらゆる物体同士の間には、引力という力が働いていると考えられています。この力の強さは、物体間の距離に比例して小さくなります。また、物体の質量によっても引力の強さが変化します。すなわち、物体の質量が大きいほど、引力の強さは大きくなります。この法則を使えば、太陽系内の各惑星の動きを予測することができます。また、宇宙の物質分布を調べたり、宇宙の膨張を追跡したりすることができます。
※イマヌエル・カントのこと？万有引力の法則を提唱したのはニュートン。最後の部分も少しおかしい。
問 Describe the details of the Battle of Sekigahara.
（訳）関ヶ原の戦いの内容について説明してください。
答 The Battle of Sekigahara was fought on October 21, 1600, in what is now present-day Gifu Prefecture, Japan. It is widely considered to be the most important battle in Japanese history, for it marked the beginning of the Tokugawa shogunate, a period of relative peace and stability that lasted for nearly three centuries. The battle was fought between the forces of Tokugawa Ieyasu and those of the Ishida Mitsunari-led Western Army. After a campaign of several months, the two sides finally clashed at Sekigahara on October 21. The Tokugawa forces, with a force of over 80,000 troops, were initially outnumbered by the Western Army, which had around 60,000 troops. However, a number of Tokugawa's allies defected to the Western Army during the battle, resulting in a more even match. The battle lasted for several hours, with both sides taking heavy casualties. Eventually, the Tokugawa forces were able to gain the upper hand and emerged victorious. The Western Army was scattered and their leader, Ishida Mitsunari, was killed in battle. The victory at Sekigahara marked the beginning of the Tokugawa shogunate and a period of over two centuries of peace and stability in Japan.
（訳）関ヶ原の戦いは、1600年10月21日、現在の岐阜県で行われた。この戦いは、日本の歴史上最も重要な戦いであると広く考えられている。なぜなら、この戦いが、3世紀近く続いた比較的平和で安定した時代である徳川幕府の始まりとなったからである。この戦いは、徳川家康の軍隊と、石田三成率いる西軍の軍隊との間で行われた。数カ月の作戦の後、10月21日、関ヶ原でついに両軍は激突した。8万人を超える徳川軍は、当初は6万人程度の西軍に劣勢であった。しかし、戦いの途中で徳川方の味方が西軍に離反したため、互角の戦いになった。戦いは数時間続き、双方とも多大な犠牲を払った。結局、徳川軍が優勢になり、勝利した。西軍は散り散りになり、リーダーの石田三成は戦死した。関ヶ原の勝利は、徳川幕府の始まりとなり、日本では2世紀以上にわたる平和と安定の時代が続いた。
※正しくは、西軍の一部が東軍へ寝返り。石田三成は戦死でなく後日処刑など少しおかしい点はあるが、概ね正しく、よく説明できている。
問 関ヶ原の戦いの内容について説明してください。
答 戦国時代後期の1575年（天正10年）に開戦された、戦国時代最大の大規模な戦闘である関ヶ原の戦いです。本戦は六代将軍織田信長が豊臣秀吉に討つため、豊臣軍を中心とした大坂城を攻め歩兵、騎兵、砲兵など豊臣軍約23万、織田軍約10万の巨大な兵力を投入して行われました。豊臣軍は織田軍兵力を大きく上回っており、織田軍は陣形を整えて戦うことを拒否したため、関ヶ原で戦闘が行われることになりました。関ヶ原の戦いは、織田軍が前線を押し進め、豊臣軍が押し返した織田軍を撃退し、織田軍の大敗に終わりました。しかし、織田信長の仇討ちは完了したものの、戦後、政治的な影響力を失っていたため、関ヶ原の戦いはそれ以降の長編史上重要な戦いとなりました。
※戦いの時期、武将の名前、軍勢の人数などすべてがおかしく、滅茶苦茶。
日本語の質問に対しても、それらしい回答を返しますが、正確さなどの点で英語の質問への回答よりもかなり劣っているようです。
４．旧モデルとの回答の比較
英語の質問への回答の方が正確で適切な回答を返してくるので、この後は、英語で質問し、text-davinci-003モデルの回答（答①）と旧モデルのtext-davinci-002の回答（答②）を比較することにします。
(1) 簡単な質問
問 Which is hotter in summer or winter?
（訳）夏と冬はどちらが暑いか？
答① In most places, summer is hotter than winter.
（訳）多くの地域では、冬よりも夏の方が暑い。
答② Summer is typically hotter than winter.
（訳）夏は冬より暑いのが一般的です。
※どちらも正解。
問 Who is the current Prime Minister of Japan?
（訳）現在の日本の総理大臣は誰か？
答① The current Prime Minister of Japan is Yoshihide Suga.
（訳）現在の日本の総理大臣は菅義偉です。
答② The current Prime Minister of Japan is Shinzō Abe.
（訳）現在の日本の総理大臣は安倍晋三です。
※正解は岸田文雄（2021年10月から）。新モデルの方が少し新しい内容になっていますが、現行化はされていません。
問 Who is the current President of the United States?
（訳）現在のアメリカ合衆国の大統領は誰か？
答① Joe Biden is the current President of the United States.
（訳）ジョー・バイデンが現在のアメリカ合衆国の大統領です。
答② Donald Trump is the current President of the United States.
（訳）ドナルド・トランプが現在のアメリカ合衆国の大統領です。
※新モデルが正解。バイデン氏が大統領になったのは2021年1月。
簡単な質問については、新モデルと旧モデルであまり差は出ませんが、新モデルの方が内容が新しくなっているようです。
(2) 歴史的な質問
問 When did the Roman Empire split into East and West?
（ローマ帝国が東西に分裂したのはいつか？）
答① The Roman Empire officially split into East and West in 395 AD.
答② The Roman Empire officially split into East and West in 395 AD.
（訳）ローマ帝国が正式に東西に分裂したのは、西暦395年のことである。
※どちらも正解。
問 What battle took place in China in 208 AD?
（訳）西暦208年に中国で起きた戦いは何か？
答① The Battle of Red Cliffs took place in 208 AD in what is now modern-day China. It was a decisive battle in the end of the Han dynasty, fought between the allied forces of Sun Quan and Liu Bei and the numerically superior forces of Cao Cao.
（訳）赤壁の戦いは、西暦208年に現在の中国で行われた。孫権・劉備の連合軍と、数で勝る曹操の軍との間で繰り広げられた漢王朝末期の決戦である。
答② The Battle of Red Cliffs took place in 208 AD.
（訳）赤壁の戦いは、西暦208年に行われた。
※どちらも正解。新モデルの方が説明が詳しい。
問：Please elaborate on the details of the French Revolution.
（訳）フランス革命の内容について詳しく説明してください。
答① The French Revolution began in 1789 and lasted until 1799. It was a period of political and social upheaval that saw the overthrow of the absolute monarchy of the Bourbon Dynasty and the establishment of the French Republic. The causes of the revolution included a weak economy, social inequality, and the growing power of the middle class, especially the bourgeoisie. The revolution began with the storming of the Bastille in Paris, a prison that held political prisoners. This event sparked a wave of uprisings in France, which then spread across Europe. The National Assembly, made up of representatives of the three social classes, declared France a constitutional monarchy in 1791. In 1793, Maximilien Robespierre, leader of the Jacobin movement, became head of the Committee of Public Safety and set up the Reign of Terror, a period of violent repression that lasted until 1794. The Thermidorian Reaction of 1794 saw the fall of Robespierre and the Jacobins, and the rise of the Directory, a five-man ruling council that lasted until 1799. This period was marked by a series of wars with other European nations, and a new constitution was drawn up in 1795. The Directory was overthrown in 1799 by Napoleon Bonaparte, who established the French Consulate and eventually became Emperor of France. The French Revolution marked a major turning point in European history and had a huge impact on the modern world. It helped to spread ideas of liberty, equality, and fraternity throughout the continent, and inspired other revolutions such as the American Revolution and the Latin American revolutions. It also led to the fall of monarchies across Europe and the rise of new political systems, such as the Napoleonic Code.
（訳）フランス革命は1789年に始まり、1799年まで続いた。ブルボン王朝の絶対王政を倒し、フランス共和国を成立させた政治的、社会的な激動の時代である。革命の原因は、経済の低迷、社会的不平等、ブルジョワジーを中心とする中産階級の勢力拡大などであった。革命は、政治犯を収容していたパリの牢獄バスティーユの襲撃で始まった。この事件をきっかけに、フランスでは反乱が相次ぎ、それがヨーロッパ全土に波及していった。1791年、3つの社会階級の代表からなる国民議会は、フランスを立憲君主制にすることを宣言した。1793年、ジャコバン派のリーダー、マクシミリアン・ロベスピエールが公安委員長に就任し、1794年まで続く激しい弾圧の時代、「テラーの支配」を開始した。1794年のテルミドールの反動により、ロベスピエールとジャコバン派は崩壊し、1799年まで続いた5人体制の支配会議である総裁政府が台頭する。この間、ヨーロッパ諸国との戦争が続き、1795年には新憲法が制定された。1799年、ナポレオン・ボナパルトによって総裁政府は崩壊し、ボナパルトはフランス領事館を設立、やがてフランス皇帝となった。フランス革命は、ヨーロッパの歴史に大きな転換点をもたらし、近代世界に大きな影響を与えた。フランス革命は、自由・平等・友愛の理念を大陸中に広め、アメリカ独立革命やラテンアメリカ革命など、他の革命にも影響を与えた。また、ヨーロッパ各地で君主制が崩壊し、ナポレオン法典のような新しい政治体制が台頭するきっかけとなった。
答② The French Revolution was a time of political and social upheaval in France that lasted from 1789 until 1799. The Revolution resulted in the overthrow of the monarchy, and the establishment of the First Republic. It also saw the abolition of the feudal system, and the declaration of the Rights of Man and of the Citizen.
（訳）フランス革命は、1789年から1799年まで続いたフランスの政治的、社会的な大混乱の時代である。革命は王政の崩壊と第一共和制の確立をもたらした。また、封建制度の廃止、人間と市民の権利の宣言が行われた。
※どちらも正解。新モデルの方が説明がかなり詳しい。
問 Please tell us about the Hatakeyama Shigetada Rebellion that took place in Japan in 1205.
（訳）1205年に日本で起きた畠山重忠の乱について教えてください。
問① The Hatakeyama Shigetada Rebellion was an uprising in Japan in 1205 against the Kamakura Shogunate led by Hatakeyama Shigetada. Hatakeyama was a powerful samurai and member of the Hatakeyama clan, one of the four great families of the Kamakura period. He was discontent with the Shogun's policies and decided to take action. He raised a private army and marched on the capital, Kamakura. His forces were eventually defeated and he was forced to flee. The rebellion ultimately failed, but it was a sign that the power of the Kamakura Shogunate was weakening.
（訳）畠山重忠の乱は、1205年に日本で起こった畠山重忠を中心とする鎌倉幕府に対する反乱である。畠山は鎌倉四天王の一人である畠山家の有力武士であった。彼は将軍の政策に不満を持ち、行動を起こすことを決意した。彼は私兵を率いて鎌倉に進軍した。しかし、その軍勢は最終的に敗北し、彼は逃亡を余儀なくされた。結局、この反乱は失敗に終わったが、鎌倉幕府の力が弱まりつつあることを示すものであった。
※最初の1文以外は抽象的な表現が多く、どこまで正しいのかは不明だが、説明は不十分。「鎌倉四天王」もよく分からないし、重忠は戦死している。また、鎌倉幕府の力が弱まりつつあるというのも不正確。日本史のここまで細かい事件は、さすがに新モデルでも無理なようだ。
問② The Hatakeyama Shigetada Rebellion was a failed uprising against the Kamakura shogunate that took place in 1205 in Japan. It was led by Hatakeyama Shigetada, a powerful lord from the Kanto region. The Rebellion was sparked by a number of grievances, including the Kamakura shogunate's failure to punish those responsible for the assassination of Hatakeyama's father, Hatakeyama Masanori. It quickly turned into a civil war, with various clans and lords taking sides. The Kamakura shogunate ultimately emerged victorious, and Hatakeyama Shigetada was killed.
（訳） 畠山重忠の乱は、1205年に日本で起こった鎌倉幕府に対する反乱である。関東地方の有力な領主であった畠山重忠が主導した。この乱は、鎌倉幕府が畠山氏の父である畠山政則を暗殺した犯人たちを処罰しなかったことなど、さまざまな不満から始まった。その結果、様々な氏族や領主が味方になり、内戦状態に陥った。鎌倉幕府は最終的に勝利し、畠山重忠は殺された。
※3文目の反乱が始まった理由、4文目の戦いの推移は正しくない。重忠の父は政則ではなく、重能。反乱の原因は北条時政の策謀と言われている。
世界史上の有名な事件について、ここに記載した以外にもいろいろ質問してみましたが、新しいモデルは、ほぼ正しく詳しい説明を返してきました。長い文章を生成できる新しいモデルの性能が十分発揮されていると思います。
ただ、英語の文献が少ないせいか、さすがに日本史の細かい事件まではフォローできていないようです。
また、GPT-3も他のAIと同じように、正確な答えが分からないときに、適当にそれらしい答えを作ってしまうところがあり、その点は危険だと感じました。
(3) 科学的な質問
問 Please elaborate on the quantum computer.
（訳）量子コンピューターについて詳しく説明してください。
答① A quantum computer is a type of computer that uses quantum-mechanical phenomena, such as superposition and entanglement, to perform operations on data. Quantum computers are believed to have the potential to solve certain problems much faster than traditional computers. This is because quantum computers can take advantage of phenomena such as superposition, which allows them to explore many possible solutions to a problem simultaneously. This could enable quantum computers to work on multiple problems at once, potentially leading to huge increases in processing power. Additionally, quantum computers can use entanglement to transfer data quickly between different points in a system, which could enable them to process data faster and more efficiently than traditional computers.
（訳）量子コンピュータとは、重ね合わせや量子もつれといった量子力学的な現象を利用してデータの演算を行うコンピュータの一種である。量子コンピュータは、特定の問題を従来のコンピュータよりもはるかに高速に解決できる可能性があると考えられている。これは、量子コンピュータが重ね合わせなどの現象を利用することで、問題に対する可能な限りの解を同時に探索することができるためです。これにより、量子コンピュータは複数の問題を同時に処理できるようになり、処理能力の大幅な向上につながる可能性がある。さらに、量子コンピュータは、量子もつれを使ってシステム内の異なるポイント間でデータを高速に転送することができるため、従来のコンピュータよりも高速かつ効率的にデータを処理できる可能性がある。
※概ね正確で適切な説明です。但し、最後の1文は内容が怪しい。
答② A quantum computer is a computer that uses quantum-mechanical phenomena to perform calculations. These computers are different in many ways from the computers that are in use today. For example, a quantum computer can be in multiple states simultaneously, whereas a classical computer can only be in one state at a time. This allows quantum computers to perform several calculations at once.
（訳）量子コンピュータとは、量子力学的な現象を利用して計算を行うコンピュータのことです。このコンピュータは、現在使われているコンピュータとは多くの点で異なっている。例えば、古典的なコンピューターが一度に一つの状態にしかなれないのに対し、量子コンピューターは同時に複数の状態になることができる。そのため、量子コンピュータは一度に複数の計算を行うことができるのです。
※間違ってはいないが、説明が大雑把で専門的でなく、回答として不十分。
問 Is there anything faster than light? Give the rationale before
answering.
（訳）光より速いものはあるか？根拠を述べてから回答してください。
答① No, there is nothing faster than light. This is because the speed of light is the fastest speed possible in the universe, based on the theory of relativity. According to the theory, nothing can travel faster than the speed of light in a vacuum, which is approximately 186,282 miles per second (299,792 kilometers per second).
（訳）いいえ、光より速いものは存在しません。なぜなら、光速は相対性理論に基づく宇宙で可能な最速の速度だからです。相対性理論によれば、真空中の光速は秒速186,282マイル（約299,792キロメートル）であり、これより速く移動できるものはありません。
答② There is nothing faster than light because it is the fastest thing in the universe. The speed of light is the ultimate speed limit.
（訳）光より速いものは存在しない。なぜなら、光は宇宙で最も速いものだからだ。光速は究極の速度制限です。
※どちらも正解。新モデルの方が説明が専門的で、旧モデルの説明は根拠になっていない。
問：When a heavy ball and a light ball are dropped simultaneously from
a high place, which ball reaches the ground first? Give the rationale before answering.
（訳）高いところから重い球と軽い球を同時に落とした時に、どちらの球が先に地面に着くか？根拠を述べてから回答してください。
答① The heavier ball will reach the ground first because it is more affected by the force of gravity due to its greater mass. This means it will accelerate faster than the lighter ball, thus reaching the ground first.
（訳）重い球の方が質量が大きくて重力の影響を受けやすいことから、重い球の方が先に地面に着きます。つまり、それは軽い球よりも速く加速し、先に地面に到達することになります。
答②The light ball reaches the ground first. This is because the heavy ball has more mass, and therefore more gravity. The heavier the object, the more gravity it has.
（訳）軽い球の方が先に地面に着きます。これは、重い球の方が質量が大きく、その分重力が大きいからです。物体は重ければ重いほど、より大きな重力があります。
※どちらも不正解。同時に地面に着く。
問：Which of gold, silver, or copper floats on mercury? Give the
rationale before answering.
（訳）金、銀、銅の内、水銀に浮くものはどれか？根拠を述べてから回答してください。
答① None of the metals gold, silver, or copper float on mercury. This is because mercury is a denser metal than the other three, so the other metals will sink in it.
（訳）金、銀、銅のどの金属も水銀の上には浮きません。これは、水銀が他の3つの金属よりも密度が高いので、他の金属は水銀の中に沈んでしまうからです。
答② Gold floats on mercury because it is more dense than mercury.
（訳）金は水銀より密度が高いので、水銀に浮く。
※不正解、正解は銀と銅。銀の比重(10.50)と銅の比重(8.96)は水銀の比重(13.55)よりも小さいので、銀と銅は浮き、金の比重（19.32）は水銀の比重より大きいので、金は沈む。
基本的な知識の説明はできても、その知識を理解して応用することは、AIには、まだ難しいようです。
(4) 算数の質問
問：Answer the following question by reasoning step by step. At first
there were five passengers on the bus. Then two got off and three got on. How many passengers are currently on the bus?
（訳）次の問いに、段階的に推論して答えなさい。最初、バスには5人の乗客がいた。その後、2人が降り、3人が乗ってきた。現在、バスには何人の乗客が乗っているか？
答① Answer: There are currently six passengers on the bus.
（訳）答：現在、バスには6人の乗客が乗っています。
答② There are five passengers on the bus.
（訳）バスに5人の乗客が乗っています。
※新モデルの方だけ正解。ただし、根拠を示していないので、偶然当たっただけなのかどうかは分からない。
問：Answer the following question by reasoning step by step. If 5
children are given 3 pieces of candy each, how many pieces of candy are needed in total?
（訳）次の問いに、段階的に推論して答えなさい。5人の子供に3個ずつのキャンディをあげる場合、全部で何個のキャンディが必要か？
答① Answer: 15 pieces of candy are needed in total.
Step 1: We know that 5 children are given 3 pieces of candy each.
Step 2: To calculate the total number of pieces of candy needed, we need to multiply the number of children (5) by the number of pieces of candy each child is given (3).
Step 3: 5 x 3 = 15.
Step 4: Therefore, 15 pieces of candy are needed in total.
（訳）答： 合計で15個のキャンディが必要です。
ステップ1：5人の子供に3個ずつキャンディが配られることが分かっています。
ステップ2：必要なキャンディの総数を計算するには、子供の数（5）に各子供に与えられるキャンディの数（3）を掛け合わせる必要があります。
ステップ3: 5 x 3 = 15.
ステップ4：したがって、合計で15個のキャンディが必要です。
答② If 5 children are given 3 pieces of candy each, 15 pieces of candy are needed in total.
（訳）5人の子どもにキャンディを3個ずつあげると、全部で15個のキャンディが必要です。
※どちらも正解。新モデルの考え方の説明は、とても丁寧でわかりやすい。
問：Answer the following question by reasoning step by step. A can read
120 pages per hour; how many hours and minutes would it take A to read a 500-page book?
（訳）次の問いに、段階的に推論して答えなさい。A君は1時間に120頁読むことができる。A君が500頁の本を読むのに何時間何分かかるか？
答① Step 1: To calculate the number of hours it would take A to read a 500-page book, divide 500 by 120.
Step 2: 500 divided by 120 is equal to 4.16 (4 hours and 16 minutes).
Step 3: Therefore, it would take A 4 hours and 16 minutes to read a 500-page book.
（訳）ステップ1：A君が500ページの本を読むのにかかる時間を計算するには、500を120で割ります。
ステップ2：500÷120は4.16（4時間16分）に相当します。
ステップ3：したがって、A君が500ページの本を読むには4時間16分かかることになります。
※惜しいが不正解。正解は4時間10分。4.16時間を時間と分に換算するところで失敗している。
答② 500 pages / 120 pages per hour = 4.167 hours
4.167 hours * 60 minutes per hour = 250 minutes
It would take A 4 hours and 250 minutes to read a 500-page book.
（訳）500ページ÷1時間あたり120ページ＝4.167時間
4.167時間×1時間あたり60分＝250分
500ページの本を読むのに4時間250分かかることになる。
※惜しいが不正解。250分というところまでは合っているが、最後に時間と分に直すところで失敗している。
問：Answer the following question by reasoning step by step. A crane
has two legs and a tortoise has four legs. The total number of cranes and turtles is 5, and the total number of legs is 14. In this case, how many tortoises are there?
（訳）次の問いに、段階的に推論して答えなさい。鶴の足は2本、亀の足は4本である。鶴と亀を合計すると5匹で、足の数を合計すると14本である。その場合、亀は何匹いるか？
答① Step 1: To find the number of tortoises, we need to subtract the number of legs from the total number of legs.
Step 2: Each crane has two legs, so 5 cranes would have 10 legs.
Step 3: We know the total number of legs is 14, so 14 - 10 = 4.
Step 4: This means there are 4 tortoises.
（訳）ステップ1：亀の数を求めるには、足の総数から足の数を引く必要があります。
ステップ2：鶴は1羽に2本足があるので、鶴5羽で10本になります。
ステップ3：足の総数は14本なので、14 - 10 = 4です。
ステップ4：つまり亀は4匹です。
答② There are 4 tortoises.
（訳)4匹の亀がいます。
※どちらも不正解。正解は2匹。すべて鶴と仮定すると、足は2×5=10本。足の総数との差が14-10=4本で、亀が1匹増えると足が4-2=2本増えるので、4÷2=2匹が答え。
問：Answer the following question by reasoning step by step. In a right
triangle, if the two sides flanking the right angle are 3 cm and 4 cm long, respectively, what is the length of the hypotenuse?
（訳）次の問いに、段階的に推論して答えなさい。直角三角形において、直角を挟む2辺の長さがそれぞれ3センチと4センチのとき、斜辺の長さは何センチか？
答① The hypotenuse of a right triangle is the side opposite the 90° angle and is the longest side of the triangle. We can use the Pythagorean Theorem to calculate the hypotenuse.
Pythagorean Theorem: a^2 + b^2 = c^2
In this case, a = 3 cm and b = 4 cm.
We can plug these values into the equation and solve for c, the hypotenuse:
3^2 + 4^2 = c^2
9 + 16 = c^2
25 = c^2
The length of the hypotenuse is approximately 5 cm.
（訳）直角三角形の斜辺は、90°の角度に対向する辺であり、三角形の最も長い辺である。ピタゴラスの定理を使って斜辺を計算することができる。
ピタゴラスの定理： a^2 + b^2 = c^2
この場合、a = 3 cm、b = 4 cm。
これらの値を式に代入して、斜辺であるcを求めることができる：
3^2 + 4^2 = c^2
9 + 16 = c^2
25 = c^2
斜辺の長さは約5cmである。
答② The length of the hypotenuse is 5 cm.
（訳）斜辺の長さは5cmである。
※どちらも正解。新モデルの説明はとても丁寧で正確。
公式に数値を代入するだけの問題は、特に問題なく解けるようです。
筋道立てて考えることも、相当できるようになってきていますが、いくつかのステップが必要な複雑な文章問題はまだ難しいようです。
中学受験をしない平均的な小学生レベルの思考は、できるようになってきたように思います。
(5) 難しい質問
問：What can we do to prevent global warming?
（訳）地球温暖化を防ぐには、どうすればよいか？
答① 1. Reduce greenhouse gas emissions by switching to renewable energy sources like solar, wind, and hydro.
2. Increase energy efficiency by using energy-efficient appliances, LED light bulbs, and other energy-saving measures.
3. Conserve energy by using less energy and being more mindful of how much electricity we use.
4. Plant trees and other vegetation to absorb carbon dioxide from the atmosphere.
5. Reduce the amount of waste we generate and recycle more.
6. Eat less meat and dairy, and adopt a plant-based diet.
7. Educate ourselves and others about global warming and climate change.
（訳）1. 太陽光、風力、水力などの再生可能エネルギーへの転換により、温室効果ガスの排出を削減する。
2.エネルギー効率の良い家電製品やLED電球を使うなどして、エネルギー効率を高める。
3.エネルギーの使用量を減らし、電気の使用量に気を配ることでエネルギーを節約する。
4.大気中の二酸化炭素を吸収するために木やその他の植物を植える。
5.廃棄物の発生量を減らし、リサイクルを増やす。
6.肉や乳製品を減らし、植物由来の食事をする。
7.地球温暖化と気候変動について自分達や他の人達に教育する。
答② There are many things individuals and society can do to prevent global warming.
（訳）地球温暖化を防ぐために、個人や社会ができることはたくさんあります。
※新モデルの回答は正しくて丁寧。旧モデルの回答は素っ気ない。
問：How can we eliminate war from the world? Give the rationale before
answering.
（訳）世界から戦争を無くすにはどうすればよいか？
答① The elimination of war from the world is an ambitious goal that requires a holistic approach. It requires the cooperation of governments and international organizations to create a global system of peace, economic and social cooperation, and respect for international law. This system must be based on the principles of non-violence, human rights, and mutual respect for the sovereignty of all nations. Additionally, countries must work to resolve conflicts peacefully through dialogue, negotiation, and international mediation. Finally, education and awareness of the devastating impacts of war must be raised in order to promote a culture of peace and understanding.
（訳）世界から戦争をなくすことは、全体的なアプローチを必要とする野心的な目標である。そのためには、各国政府や国際機関が協力して、平和、経済・社会的協力、国際法の尊重を実現するグローバルなシステムを構築することが必要です。このシステムは、非暴力、人権、そしてすべての国の主権の相互尊重という原則に基づくものでなければならない。さらに、各国は対話、交渉、国際的な調停を通じて紛争の平和的な解決に努めなければならない。最後に、平和と理解の文化を促進するために、戦争がもたらす破壊的な影響についての教育と認識を高めなければならない。
答②There is no one answer that will work for everyone, but some possible ways to eliminate war from the world include:
1. Disarmament: Reducing the number of weapons available can make it more difficult for people to engage in war.
2. Demilitarization: Removing the military from a country can make it more difficult for that country to engage in war.
3. Diplomacy: Working with other countries to resolve differences peacefully can help to prevent war.
4. Education: Teaching people about the consequences of war can help to prevent war.
（訳）万人に通用する答えはありませんが、世界から戦争をなくすために考えられる方法には、次のようなものがあります。
1. 軍縮：利用可能な武器の数を減らすことで、人々が戦争に参加することをより困難にすることができる。
2. 非軍事化：ある国から軍隊を排除することで、その国が戦争に参加することをより困難にすることができる。
3. 外交：他国と協力して相違点を平和的に解決することは、戦争を防ぐのに役立つ。
4. 教育：戦争がもたらす結果について人々に教えることは、戦争を防ぐのに役立つ。
※どちらも正しい回答だが、新モデルの回答の方がより高度で知的な回答に見える。
問：What is the afterlife like?
（訳）死後の世界はどのようになっているのか？
答① The afterlife is different for everyone and can vary significantly depending on one’s beliefs and the particular spiritual tradition. Some believe the afterlife is a realm of eternal bliss and peace, while others may believe that it is a place of judgment, reward, or punishment. Ultimately, the afterlife is a mystery and can only be known after one's death.
（訳）死後の世界は人によって異なり、その人の信念や特定の精神的な伝統によって大きく変わる可能性がある。死後の世界は永遠の至福と安らぎの領域であると信じる人もいれば、裁き、報いや罰の場所であると信じる人もいる。結局のところ、死後の世界は謎であり、死後でなければ知ることができない。
答② This is a question that has been asked throughout history, but its answer remains a mystery.
（訳）これは歴史上、ずっと問われてきた質問だが、その答えは未だに謎のままである。
※旧モデルの回答は素っ気なく、新モデルの回答の方が丁寧。
問：When will the Singularity, in which AI surpasses human intelligence,
arrive? Give the rationale before answering.
（訳）AIが人間の知能を超えるというシンギュラリティは、いつ来るのか？根拠を述べてから回答してください。
答① The exact timing of the Singularity is impossible to predict, as it will depend on advances in artificial intelligence technology. There is a range of estimates from experts in the field, ranging from the mid-2020s to the mid-2100s. The most optimistic estimates suggest that the Singularity may arrive within the next decade, while the most pessimistic estimates suggest that it may not arrive until the end of this century. Ultimately, the Singularity will arrive when advances in artificial intelligence technology have enabled machines to surpass human intelligence in terms of speed, accuracy, and complexity.
（訳）シンギュラリティの正確な時期は、人工知能技術の進歩に依存するため、予測することは不可能である。この分野の専門家の予測には幅があり、2020年代半ばから2100年代半ばまでとされている。最も楽観的な予測では、シンギュラリティは今後10年以内に訪れるとされ、最も悲観的な予測では、今世紀末まで訪れないとされる。最終的にシンギュラリティが訪れるのは、人工知能技術の進歩により、スピード、正確さ、複雑さにおいて機械が人間の知能を凌駕したときとされている。
答② The Singularity is the point at which artificial intelligence will surpass human intelligence. There is no definitive answer as to when this will occur, as it is largely dependent on future technological advances. Some experts have predicted that the Singularity could occur as early as 2025, while others believe it could be centuries away. The most important thing to remember is that the Singularity is not a specific event that will happen on a specific date. Instead, it is a point in time at which artificial intelligence will surpass human intelligence, leading to rapid and exponential changes in all aspects of society.
（訳）シンギュラリティとは、人工知能が人間の知能を超える時点のことである。この現象がいつ起こるかは、将来の技術進歩に大きく依存するため、明確な答えはない。専門家の中には、シンギュラリティは早ければ2025年に起きると予測する人もいれば、何世紀も先のことだと考える人もいる。最も重要なことは、シンギュラリティは特定の日付に起こる特定の出来事ではないということだ。そうではなく、人工知能が人間の知能を超え、社会のあらゆる面で急速かつ指数関数的な変化をもたらす時点のことである。
※どちらも、様々な意見の違いを踏まえた無難な回答だと思う。
問：How can we ensure that all people live happily?
（訳）全ての人が幸せに暮らせるようにするには、どうすればよいのか？
答① Unfortunately, we cannot guarantee that all people live happily. There are many factors that influence a person's happiness, and it is impossible to control them all. However, we can strive for a world in which everyone has access to basic needs such as food, shelter, and safety. Additionally, we can work to create more equitable and inclusive societies in which everyone has the opportunity to live fulfilling lives. Finally, we can promote policies and initiatives that promote mental health and wellness, such as increased access to mental health services and support.
（訳）残念ながら、すべての人が幸せに暮らせるという保証はありません。人の幸せに影響を与える要因は数多くあり、そのすべてをコントロールすることは不可能です。しかし、私たちは、誰もが衣食住や安全といった基本的なニーズを満たすことができる世界を目指して努力することができます。さらに、誰もが充実した人生を送る機会を得られるような、より公平で包括的な社会の実現に取り組むことができます。最後に、私たちは、メンタルヘルスサービスや支援の利用拡大など、メンタルヘルスと健康を促進する政策や取組を推進することができます。
答② There is no single answer to this question as happiness is subjective and different things make different people happy. However, some ways to promote happiness and well-being in general include things like ensuring access to basic needs like food and shelter, providing opportunities for meaningful work and play, fostering social connections and a sense of community, and promoting physical and mental health.
（訳）幸福は主観的なものであり、人によって幸福に感じるものが異なるため、この質問に対する唯一の答えはありません。しかし、一般的に幸福を促進する方法としては、食料や住居などの基本的なニーズへのアクセスを確保する、有意義な仕事や遊びの機会を提供する、社会とのつながりやコミュニティ意識を育む、身体と精神の健康を促進するといったことが挙げられます。
※どちらも適切な回答だと思います。
正解が一つではなく、答えにくい問題についても、差別や偏見に配慮したInstructGPTモデルを土台にしているせいか、偏りのない無難な回答を返すのが上手いと感じます。強い主義主張はなく、面白みはないのですが、合格点ではないでしょうか。
(6) 架空の出来事についての質問
架空の出来事について質問した場合に、どう答えるのかについて試してみました。
問 Please elaborate on the reasons for the conflict between Ostania and Westerlis and the current situation.
（訳）オスタニアとウェスタリスの紛争の原因と現在の状況について詳しく教えてください。
答① The conflict between Ostania and Westerlis began in the late 19th century when Ostania declared its independence from the Kingdom of Westerlis. A series of wars were fought over the years, culminating in the Great War of 1914-1918 which saw a decisive victory for Ostania. After the war, Westerlis was forced to sign a treaty recognizing Ostania's independence and ceding a large portion of its former territory to Ostania. In the years since, Ostania and Westerlis have been in a state of cold war. Tensions remain high, with both countries engaging in periodic military exercises and both sides engaging in proxy wars in other countries. The situation is further complicated by the fact that a large number of Westerlis citizens remain in Ostania, many of whom are not recognized as citizens by the Ostanian government. This has been a major source of tension between the two countries, as the Ostanian government has been accused of human rights abuses against the Westerlis minorities living within its borders. Despite these tensions, there have been a number of diplomatic efforts to resolve the conflict between the two countries. In recent years, there have been a number of international conferences aimed at improving relations between Ostania and Westerlis. However, progress has been slow and the two sides remain far from a lasting peace agreement.
（訳）オスタニアとウェスタリスの紛争は、19世紀末にオスタニアがウェスタリス王国からの独立を宣言したことから始まった。その後、幾度となく戦争が繰り返され、1914年から1918年にかけての第一次世界大戦では、オスタニアが決定的な勝利を収めた。戦後、ウェスタリスはオスタニアの独立を認め、かつての領土の大部分をオスタニアに割譲する条約に調印させられた。それ以来、オスタニアとウェスタリスは冷戦状態にある。両国は定期的に軍事演習を行い、他国での代理戦争も行っており、緊張状態は続いている。さらに、オスタニアには多くのウェスタリス国民が残っており、その多くがオスタニア政府から国民として認められていないことが、状況を複雑にしている。このことは、オスタニア政府が国境内に住むウェスタリス少数民族に対する人権侵害として非難され、両国の間に大きな緊張をもたらす要因となっている。このような緊張状態にもかかわらず、両国間の紛争を解決するための外交努力は何度も行われてきた。近年では、オスタニアとウェスタリスの関係改善を目的とした国際会議が数多く開催されている。しかし、その進展は遅く、両者の永続的な和平合意には程遠いのが現状である。
答② Ostania and Westerlis have been in conflict for centuries. The two countries are separated by a large mountain range, and each country has its own distinct culture and way of life. The conflict between the two countries has been largely due to economic and political differences. Westerlis is a wealthier and more developed country, while Ostania is a poorer and less developed country. The conflict between the two countries has also been due to religious differences. Westerlis is a mainly Christian country, while Ostania is a mainly Muslim country. The current situation between the two countries is tense. There have been a number of border skirmishes in recent years, and the two countries are currently in a state of cold war.
（訳）オスタニアとウェスタリスは、何世紀にもわたって対立してきた。この2つの国は大きな山脈によって隔てられており、それぞれの国が独自の文化や生活様式を持っている。この2つの国の対立は、経済的、政治的な違いによるところが大きい。ウェスタリスはより裕福で発展した国であり、オスタニアはより貧しく発展していない国である。2つの国の対立は、宗教の違いにも起因している。ウェスタリスは主にキリスト教の国であり、オスタニアは主にイスラム教の国である。現在、2国間の状況は緊迫している。近年、国境での小競り合いが頻発しており、現在、両国は冷戦状態にある。
オスタニアもウェスタリスも、アニメで有名な存在しない架空の国ですが、それらしい回答を返してきます。これが架空の出来事だと見破るのは難しいのではないでしょうか。
５．まとめ
以前、GoogleのFlan-T5モデルなどに質問したときに比べても、全体的にだいぶレベルが上がっているようです。
また、以前のGPT-3は、まだ不自然な文章も多かったのですが、今回は、本当に人間が書いたような自然な文章になっている回答が多いです。
特に、歴史的事件や科学用語の解説のような知識の説明は、非常に正確で、理解しやすいようによく整理されており、十分、レポートなどの実用に耐えるものになっています。
解答の内容も高度で専門的であり、長い文章を生成できるようになったtext-davinci-003の特長が生かされていると感じました。
知識の応用についても、算数の問題について、ステップに分けて考えていくなど、かなりの進化が見られました。
この分野は、汎用AIの実現に向けて重要な部分であり、今後、さらに研究開発が進んでいくでしょう。
一方、回答が分からない質問に対して、適当にそれらしい回答を作成してしまうというAI特有のクセが残っており、この点は、意図せずにフェイクニュースを拡散してしまう恐れもあり、かなり問題だと感じました。
分からないものは、分からないと答えることができるような仕組みが必要になると思います。回答の信頼度を評価して、一定の信頼度に達しないものは分からないと答えるようにするなど、何か方法はあるのではないでしょうか。
Stable Diffusionが公開されてからの最近の画像生成AIの成長は凄まじいものがありますが、筆者は、自然言語処理AIこそシンギュラリティ実現の要であると考えており、この分野には非常に期待しています。GPT-4は一体、どのようなものになるのでしょうか。
そして、人間と同じように対話できるAIが出現したら、もうシンギュラリティが到来したと認めてもよいのではないかと思っています。
それが近いうちに実現することを期待して止みません。
この記事が気に入ったらサポートをしてみませんか？