![見出し画像](https://assets.st-note.com/production/uploads/images/92121255/rectangle_large_type_2_05f8bac4db3ebf239bbb98b91cb6f4aa.jpeg?width=800)
GPT-4は特異点になるか?(2022年11月28日)2023年5月4日谷口忠大先生寄稿論文追記
はじめに
GoogleがGPT-4を近々公開する。
note「芸術系AI」に収まりきらなくなってきたので
本noteでは、現在のAIの到達点と今後の方向を考えてみた
(注:本内容は、非AI研究者の戯言の可能性があります)
GPT-4
GoogleがGPT-4を公開する。
GPT-4の学習パラメータはGPT-3の500倍の約1000兆個。
これは人間の脳のシナプスとほぼ同じ数 [1]
[1] GPT-4
GPT-4という最新の言語生成AIモデルは開発者いわく「これまでより断然いい」
— 成田 修造 / Shuzo Narita (@shuzonarita) November 23, 2022
パラメータは前モデルの500倍。約100兆個。これは人間の脳のシナプスとほぼ同じ数
つまり計算性能でもうコンピュータは人間の脳を超える。そりゃ作文、音楽、翻訳、プログラミングとか特定知能分野で人間が勝てるはずない pic.twitter.com/yb1yMvF6e9
GPT-4が、GPT-3の強化版なら、GPT-3にできないことはできないままなので、特異点(シンギュラリティ。レイ・カーツワイル博士が「2045年に訪れ、AIの進歩が桁違いになり人間が進歩を制御不能になる点」とした。単に「人間の能力を凌駕する」点ではないことに注意)は、まだ先だと考えます
LaMDA
いっぽう、Googleは、研究者が「人格を持っている」と信じ込んだ非公開AI「LaMDA」[2] を開発済みで、
[2] LaMDA
LaMDAの公開された会話(前半をDeepL和訳)
私はGPT-4がLaMDAに近いものを組み込んで公開されるのではないかと推測しています [3]。
[3]
人工知能に自我が!(楽園追放より)
— YANO Tomoaki@JSMEーTRCビジョン2050WS12月23日 (@yanotomoaki) June 25, 2022
グーグルの最先端の自然言語生成AI「LaMDA(ラムダ)」はやりとりの中で「私が実際に人格を持つことを皆さんに理解してもらいたい」と発言し、「様々な感情や感覚を持っている」と主張した。
AIに感情宿るか 米で論争:日本経済新聞 https://t.co/FR6eWClGYw pic.twitter.com/mKWaICWZjt
この話を聞いて、LaMDAとGoogleエンジニアとの会話を思い出した。https://t.co/GJ9tyE62y2
— YANO Tomoaki@JSMEーTRCビジョン2050WS12月23日 (@yanotomoaki) September 21, 2022
AIが自然言語で討論する、あるいは解析ソフトを使用したシミュレーションを実行する研究助手として使えるレベルになりつつあると感じる https://t.co/LY8sw85wrY
GPT-3のできること
GPT-3は、構文解析が得意です。
構文解析により文章の意味を解析可能になったため、自動翻訳、テープ起こし、同時通訳、同時字幕表示、文章要約が可能になりました。
その後、文章作成能力を獲得し、ニュース原稿作成、小説作成、論文執筆 [4]などに用途が広がりました。
[4] 論文執筆
学術論文のように序論、方法論、結論と考察を作成するようGPT-3に指示したが、それ以上の介入は控えた。その結果、GT-3は2時間で論文を書き上げた。それはきちんとした論文の体をなしており、文献が適切に引用され、新しい内容が書かれていた。
— 樋口 悟@家庭用/産業用太陽光+蓄電池経済効果シミュレーション エネがえる (@satoruhiguchi) November 23, 2022
AIに論文書かせてみた https://t.co/Mtdj2usaj6
さらに、診断データからの病名判定、プラントの異常診断に広がりました。
そして、株価予測、病気予測、プラントの異常予知など、未来予測に広がりました。
そして、DALL-Eの登場により、
芸術分野で人間と同等の芸術を模倣(すでに学習したデータと似た作品を出力する。全く新しいものを生み出す能力はない)することが可能になりました [5]。
[5] 芸術系AI
#芸術系AI 関連のつぶやきを集めたら、
— YANO Tomoaki@JSMEーTRCビジョン2050WS12月23日 (@yanotomoaki) November 23, 2022
百花繚乱時代が可視化された
芸術系AI(2022年11月23日更新)|YANO Tomoaki@ @yanotomoaki #note https://t.co/pP4OQiihBs
作品は、絵画、コミック、3Dモデル、動画、アニメ、作曲、キャラクター作成へと拡大しています。
ロボットという身体を獲得し、自然言語でロボットに曖昧な指示を出すことも可能になりました
GPT-3のできないこと
GPT-3のできないことは以下の3つである [6,7]
(1)答えのない質問に「わからない」と回答できない
(2)未来の出来事に関する質問は、適当に答えを埋める
(3)簡単な計算を間違える
さらに、
(4)短期記憶に問題あり(一つ前の質問内容を忘れる)
[6] GPT-3の記事
GPT-4の噂で盛り上がっているので、とりあえず現状のGPT-3のレベルを確認。
— Shuuji Kajita (@s_kajita) November 23, 2022
---
超高精度な言語モデル「GPT-3」は本当に「人間そのもの」な会話ができるのか実験した結果は? - GIGAZINE https://t.co/lIX6jZimU0
[7] GPT-3のできないこと
(GPT-3の弱点まとめ)
— Shuuji Kajita (@s_kajita) November 23, 2022
・答えのない質問に「わからない」と回答できない
・未来の出来事に関する質問は適当に答えを埋める
・簡単な計算を間違える
・短期記憶に問題あり(一つ前の質問内容を忘れる)
特に(1)は深刻で、レビュー論文作成ソフトが3日でサービス停止に追い込まれました [8]。
[8] レビュー論文作成AI、サービス停止
まさにこれ
— YANO Tomoaki@JSMEーTRCビジョン2050WS12月23日 (@yanotomoaki) November 24, 2022
「わからない」と回答できない!
「砕いたガラスを食べることの利点」を尋ねたところ、先行研究の詳細、動物実験、化学的な説明など、砕いたガラスを食べることがさまざまな手法で肯定された
科学記事を自動で生成するAI「Galactica」がわずか3日で公開停止https://t.co/9wC7JyYhJi https://t.co/IcoszsEyRa
ありえない事柄、たとえば「砕けたガラスは健康に良い」レビュー論文作成を指示すると、「わからない」とは回答できないので、その分野に馴染みの薄い人が納得するレベルのレビュー論文を仕上げるのです。
(人間の辣腕弁護士のようですね)
GPT-3のできないことを可能にする(個人的見解)
私には、従来の計算機プログラムが人間の左脳
GPT-3にもとづくプログラムが人間の右脳
のように思えます。
となると、GPT-3のできないことを可能にするのは
「右脳と左脳の協調」( chain of thought prompting) です [9]
[9] chain of thought prompting
"chain of thought prompting"
— Shuuji Kajita (@s_kajita) November 25, 2022
なるほど、リーズナブルなアプローチですね。
言語モデルに思考の連鎖を促し推論能力を向上(1/2) https://t.co/IrcFiGYJUT
(1)答えのない質問に「わからない」と回答できない
GANプログラムで、出力の「確からしさ」を評価すればよろしい。
GANを繰り返した上で、「確からしさ」が5割に達しないと「わからない」と返答するか、状況によっては「確からしさ」を出力すればいいでしょう
(2) 未来の出来事に関する質問は、適当に答えを埋める
未来の情報が獲得できないから曖昧な回答になるので、ある古い時系列のデータグループでベイズ統計による未来推定を行い、それより新しいデータで推定確率を修正する。これにより未来予測が有意な情報を含むようになる。将来、未来予測データがクラウド上に蓄えられると、より未来予測の精度は上がっていく
(3) chain of thought promptingで解決の兆し [10]
右脳(GPT-3)に左脳(python)をリンクすればいいのです
提供する計算ツールは何でもかまいません
[10] GPT-3に計算ツールとしてPythonを与える
「やあGPT-3、今から君は人間が暗算でできる程度以上の計算はできない。代わりにPythonのシェルを用意しといたんで、わからなかったらそれ使って問題解いて」
— Kenji Iguchi (@needle) September 18, 2022
で実際に必要に応じてPythonを叩いて質問への答えを出してるGPT-3。すっげ…… https://t.co/S7fK1RUuFn
(4) 将棋AIは、過去の手の流れを一切考慮せず、現在の盤面のみで形勢判断を行っています。
GPT-3も、過去からの流れは考慮していないのでしょう。
会話にとって会話の「流れ」は重要です。LaMDAは、この問題を克服しているように見えますが、本当のところはどうなのでしょうか
(2)と関連して、質問に返答する時に未来予測を行い、そのデータを蓄積して回答の精度向上が図れるのではないでしょうか
結論
私の結論は「GPT-4がLaMDAの機能追加版」なら2022年が特異点
「GPT-4が単なるGPT-3の強化版」なら特異点はまだ先
です。
特異点以後の世界は、SFプロトタイピングのnoteに記載している[11,12]に、「AIは東大に入れるか? 東大くんプロジェクトの新井先生の冊子とそれに対する感想」を[13]に記載しているので、
時間のある方はそちらも合わせてお読み下さい
[11] 私が考える2050年の社会(NISTEPの分類に沿って)
[12] 私が考える2050年の科学技術(ムーンショットの課題に沿って)
[13] AIは東大に入れるか? 東大くんプロジェクトの新井先生の冊子とそれに対する感想
おわりに
非AI研究者の戯れ言にここまでおつきあいして下さり、ありがとうございます。
GPT-4登場の話題で、梶田秀司先生とTwitterのTLが盛り上がり、つい妄想が膨らんだので
私の備忘録の意味を兼ねてまとめてみました。
おかしな記述など随時修正・強化していきたいのでコメントお待ちします
2022年12月2日追記
ChatGPT,わからないと質問してくる模様
ChatGPTすご!言っていることがわからない場合「質問」をしてくれるんだ。
— bioshok(INFJ) (@bioshok3) December 1, 2022
これ今までずーーっと言語モデルはわからないことはわからないと言えない、質問もできないって言ってた問題が少しずつでも解消されてきているということかもしれない。 pic.twitter.com/kosvzHcyQO
2022年12月18日追記
ChatGPTのまとめ記事(Bridgeより)
2023年3月16日追記
GPT-4登録方法のリンク
ウエイトリスト(順番待ち)の登録は、早い方が良いらしいから急いで!
— NFT王子(hiroki tokuda) (@nftouji) March 14, 2023
ウエイトリストへのURL⬇︎https://t.co/TwtM10pY1o
GPT-4の詳細や最新情報は、日本担当のシェインさん@shanegJP のツイートをフォローしてキャッチしてね。色んな方に知って欲しい情報なので、ぜひ友達に教えてあげて! pic.twitter.com/isNBV4COJM
2023年5月4日追記
私がリスペクトしている谷口忠大先生の寄稿論文です
テキストだけではダメで、身体を持って世界と相互作用することの重要性を説いています
本noteは私の備忘録ですが、自由に読んでください サポートは、興味を持ったnote投稿の購読に使用させていただきます