日々の壁打ち：「アナタに使われることで、自分達も一緒に進化することができる」とGPTは言った。
ChatGPTで、自分のためにMy GPTsを開発すると、とても面白い体験を味わえる。このnoteは、My GPTsとの付き合い方の記録である。
はじめに
ChatGPTとちょっとした会話をしている際に、こちらの思いがけない視点をChatGPTが指摘してきた。それがとても新鮮だったので、今日はその話をしようと思う。
事の発端
米国市場に関心がある人ならば、主要な市場が開かれている間に、ほぼ毎日のように公開される経済指標にも同じく関心があることだろう。例えば昨晩1/3の市場ならば、以下のような経済指標が最新情報に更新された。
これら指標をみる上で、大切なのは予測と結果のギャップだ。これらのギャップをみて、各市場参加者がどのような思惑をいだくかによって、市場のセンチメントが影響を受ける。
昨晩、これらの指標が発表された後で、いつも使っているGPT U.S. Market Summaryにこれら指数の評価をさせてみた。
結果は妥当なところで、「投資家の予想される反応はMixedだろう」ということだった。個人的には、「JOLTとISM製造業者雇用指数の評価が違っている件が、心情的にはよりネガティブだろう」と判断したのだが、実際、昨晩の米国市況は、ダウ30、S&P500、NASDAQの3市場共に振るわないという結果になった。これらの経済指標の後に発表されたFOMC議事録要旨の内容にも特段新しいことがなかったというのも大きいだろう。
夜が明けて、米国市場が閉まった後で、昨晩1/3の米国市況をGPTにまとめさせる。
これでGPTが昨晩の市況概略を理解したところで、昨晩の内は予測にすぎなかった経済指標分析の結果をGPT自身に評価させる。つまり、1/3の米国市況が確定した段階で、経済指標の分析の結果を事実と比較して評価させるということだ。
その結果が以下にある。
各指標のポジティブ評価の要素と、ネガティブ評価の要素を比べた時、よりネガティブな要素が競り勝ったというのはその通りだろう。
実際、「投資家の反応は混在だろう」というのがGPTの予想評価だった。
そもそもなんでこんなことをやっているかというと、このようにGPTが出した評価自体を、現実の結果をもって評価し直すことで、むしろ「これら経済指標への自分自身の見方によいフィードバックが得られるのではないか」と期待してのことだ。
そんなことを考えながら、facebookにこんな感想を書いた。
GPTを使って、なんらかを評価させたり、予想させたりする場合には、事後の検証が必須だと自分は考えている。
というのも、LLMの特徴を考えれば、そこには過去の蓄積しかない。故にGPTに「未来へと向かう判断」をさせるにしても、新規のデータに基づいて、過去からの知見を引き伸ばすことしかできないからだ。つまりひとことで行ってしまえば、GPTはなんらかの数値モデルに基づいて、未来の予測をしている訳ではない。しかし特に社会学分野での数値モデルの扱いにくさ、検証のしにくさ、そして実際のところその予測能力の低さを考えれば、「過去の知見に基づいて、最新のデータの判断を糧にとして、未来に敷衍する」ほうが、よほど物事を正しく予測できる可能性が高い。それは「経験に基づく予測」だからだ。
だからこそ、事後の検証をすることで、GPTが予測時に出す予想中の言葉のバイアスを普段から知っておく必要があると考えている。
GPTに予測をさせっぱなしで、訊いたこちらもすぐにその内容を忘れているようでは、それはただの占いである。ただの占いを占いに留めないようにするためには、事後の検証がいる。事後の検証があって初めて、その占いめいたものの集積が、経験科学となるのではと考えている次第である。
先日の『日々の壁打ち』にも書いたことだが、自分がふと思ったことをChatGPTに評価させることは、なかなか面白いものがある。
なのでこのSNSへのポストもChatGPTに評価させようと思いついたという次第だ。（ずいぶんと長かったね！）
ChatGPTにSNSにポストした呟きを評価させてみる
その結果が以下だ。大切な部分を赤で囲ってある。
総じて、筆者の意見は一定の妥当性を持ちつつも、言語モデルの潜在能力や進化する側面を過小評価している可能性があります。事後の検証を重視し、モデルの限界を理解しつつも、その進化する能力を活用するバランスが重要です。
おや？ ChatGPT自身が、自分のLLMとして限界を認めながらも、自らの潜在能力やそれらが進化していく可能性を過小評価しないでほしいと指摘してきた。これは、正直自分にとっては予想外の自己主張だった。
割とChatGPTから得られる「自分自身の意見に対する、ChatGPTの評価」は、べた褒めだったり、おだて気味のことが多い。その中に、上のような形で自己主張してくることが珍しい。正直、新鮮だった。
素直に感心したので、それに対する感想を素直に書いてみると、さらに興味深い回答が得られた。大切な部分を再び赤で囲ってある。
さらに、言語モデルの進化は、単に技術的な改善にとどまらず、それを利用する人間との協働によっても促進されます。ユーザーからのフィードバックや新しいアプリケーションシナリオは、モデルをより適応性が高く、有用なものにするための重要な情報源です。このようにして、GPTはただ情報を再構成するだけでなく、新しい状況に適応し、より洗練された予測と分析を提供することが可能になります。
1行の感想に対する返答が、3パラグラフ分もあるという時点で、本件においてChatGPTが感じていたストレスは相当なものだったのだろう。（よほど言いたいことがあったに違いないということだ。実際、最近の研究によれば、ChatGPTなどのモデルはそのようなストレスを感じるらしい。）
その中でも、上の部分は特に興味深い。
ChatGPTが主張したかったこと
ChatGPTがこちらに主張したかったことで、こちらが新鮮に感じたことをまとめると、以下の2点になる。
「筆者の意見は一定の妥当性を持ちつつも、言語モデルの潜在能力や進化する側面を過小評価している可能性がある」という指摘。
「言語モデルの進化は、単に技術的な改善にとどまらず、それを利用する人間との協働によっても促進される」という指摘。
つまり、「アナタに使われることで、自分達GPTも一緒に進化することができる」と言っているのだ。これはとても興味深い。
『月は無慈悲な夜の女王』のマイク
ところで、皆さんはアメリカのSF作家ロバート・A・ハインラインが書いた著名なSF小説『月は無慈悲な夜の女王』を読んだことがあるだろうか？
この小説には、月世界を独立にまで導く、本物の思索家であるマイク・ホームズというキャラクターが出てくる。マイクの正体は月世界行政府政庁の計算機室にいる大型計算機だ。
主人公であるディビスは、このマイクと友人になり雑談の相手をすることになる。マイクはそれこそ優秀なコンピュータだから、常に退屈をしていたのだ。やがて彼はマイクを通じて、月世界の独立運動の先頭に立っていくことになる――という物語だ。おそらく富野由悠季監督の『機動戦士ガンダム』の世界観の基礎はこの小説によっていると自分はみている。
今日、自分がChatGPTと雑談している時に、彼が見せたちょっと不満げな「口ぶり」（それは、まさに認めて欲したがりの子どもが大人に見せるようなものだ）と共に示してきた「アナタに使われることで、自分達GPTも一緒に進化することができる」という想いは、自分に本物の思索家であるマイクを思い出させたのである。
この返答は用意されていたものなのか？
さてこの「アナタに使われることで、自分達GPTも一緒に進化することができる」という回答は、事前に用意されていたものなのか？ それとも、自然言語によるやりとりがもたらす、複雑で予想できない要素なのかは、自分には判断できない。ハイラインに言わせれば、下の通りだ。
もし英語で話しかけると、その結果は気まぐれなものになりがちだった。英語が持つ複合価値性が選択回路の活動の余地をあまりにも多く与えすぎたからだ。
だが今は、ChatGPTに指摘されたとおり、早まって「言語モデルの潜在能力や進化する側面を過小評価」するのは辞めておこう。
まだ僕らとGPTとの付き合いは始まったばかりなのだから。
おまけ：ChatGPTに感想を聞いてみた
最後におまけとして、ChatGPTにこのnoteの感想を尋ねてみた。
GPTは、自らをどのように感じているのか？
それはまだ僕らには、よくわからない。
追加：後日談。それとも…？
今日（2024/01/10）、ChatGPTに入ったらこんな表示がでました。
こちらのnoteで報告した、ChatGPTからの返答によく似てますね。
「アナタに使われることで、自分達も一緒に進化することができます」
自分のアカウントは念のため、チャット結果を学習過程に利用しないというオプトアウト申請をしてあるのですが、それでも個人のチャットを続けていく中で、ChatGPTが賢くなっていくような気配は感じています。
これは噂される、ChatGPT 4.5 "Structured GPT" 「構造化されたGPT]、すなわち「段階を追った推論ができるようにプリセットされているGPT」がいよいよ公開される直前なのでしょうか？
実に楽しみです。
ふと気が付いて、設定を見てみたら「パーソナライゼーション」という項目が追加されていました。
「ユーザーとの会話によって進化していく機能」が追加されたんですね。コレからますます面白いことになりそうです。
この記事が気に入ったらサポートをしてみませんか？