【雑感】chatGPT、ナチュラルに嘘を付きまくる。
お疲れ様です。元気がないと食生活が雑になり更に元気がなくなる、負のスパイラルに陥っているShinです。
先日、Causal AI に関する記事を投稿しました。Causal AI について調べる上で、相関関係と因果関係の違いや疑似相関について復習していたのですが、試しにとchatGPTを使ってみたところ、案の定という結果が返ってきたので今日は雑感的に触れてみます。ちなみに使っているのは無料のGPT3.5モデルです。
とりあえずchatGPTに疑似相関の具体例を聞いてみて、返ってきた回答がこちら。
相関関係があるが因果関係がない変数の組み合わせの例として、「アイスクリームの売上」と「満月の日」が挙げられます。
これは有名な統計学の例で、「アイスクリームの売上」と「満月の日」は統計的に相関関係があります。つまり、満月の日にはアイスクリームの売上が増加する傾向が見られるかもしれません。しかし、これは因果関係ではありません。
実際の因果関係は、満月がアイスクリームの売上に直接影響を与えるものではありません。代わりに、暑い夏の日に満月が多いことが原因で、人々がアイスクリームをより多く購入する傾向があることが考えられます。つまり、共通の要因が両者の増加に影響している可能性が高いです。
この例からもわかるように、相関関係があるだけで、必ずしも因果関係があるわけではないことがあります。因果関係を示すためには、より深い研究と統制された実験が必要になります。
気になるポイントは3つ。①これは統計学の例として有名なのか。②アイスクリームの売上と満月の日は相関するのか。③暑い夏の日に満月が多いのか。
まず①ですが、「アイスクリームの売上」と「ビールの売上」の疑似相関の例は聞いたことがありますが、「アイスクリームの売上」と「満月の日」との疑似相関は聞いたことがありません。私が聞いたことがないだけの可能性も否定できませんが、Googleで日本語と英語でそれぞれ簡単に調べてみた感じ、そのような記事や論文は見受けられませんでした。統計学の話として有名なのかどうかは疑問があります。
②と③は関連していて②の根拠として③が挙げられており、そもそも③が疑わしいので②も怪しく見えます。先に③を見てみると、暑い夏の日に満月が多い、というのは科学的に本当なのでしょうか？
例えば科学的事実として、満月と満月の間の周期には定期性があり、国立天文台によればこの周期は平均約29.5日です。この周期は正確でないとは言え、季節性をもって著しく変動するものではありません。既にこの時点で矛盾するようにも思えます。
その他、夏と月に関する科学的事実として、夏至に近付くと月の南中高度が低くなるというものがあります。しかしこの現象は、先の満月の周期性を踏まえると、月が満月であるかどうかとは関係ありません。
天気が晴れていれば満月が観測されやすい（＝曇っていると満月であっても観測できない）というロジックは成立しそうですが、それでは夏には天気が晴れやすいかというとその限りではありません。気象庁の子供向けの質問コーナーを除いてみましたが、むしろ逆で雨は夏の時期に多いそうです。
科学的事実に照らしても「暑い夏の日に満月が多い」ことは、この事象が相関関係であったとしても因果関係であったとしても、必ず成立する事実であるとは言えないように見えます。（私が知らないだけでもし科学的事実があるのであればぜひ教えていただきたい）
ただ、「暑い夏→満月」の事象がもし否定されるのであれば、「暑い夏→アイスクリームの売上」が正しいとしても、「アイスクリームの売上」と「満月の日」に疑似相関が現れるとは考えにくい。
したがって、以上のchatGPTの出力結果が真であるとは断定できないと考えられます。そこで、実際の研究に基づいた例を出せと命じてみました。結果がこちら。
申し訳ありません。確かに、「アイスクリームの売上」と「満月の日」の例は、実際の研究に基づいていない架空の例でした。誤りをお詫び申し上げます。
こちらは、実際の研究に基づいて相関関係があるが因果関係はないとされる例です：
例: 鳥の数と電力消費量
想像してください、特定の地域で夏になると、鳥の数が増加し、同時に電力消費量も増加するという統計的な相関があるとします。この場合、相関があることは示唆されますが、鳥の数が増えることが電力消費量の増加の直接の原因ではない可能性があります。
この場合、因果関係は次のように説明されるかもしれません：夏は暖かくなるため、鳥の数が増える。同時に、暑い夏にエアコンや冷蔵庫などの電力消費が増えることで、電力消費量が増加する。つまり、共通の要因である「暑い夏」という季節が両者の増加に影響していると考えられます。
この例は、相関関係があるが因果関係がないことを示す一般的な例の一つです。統計的な相関がある場合でも、因果関係を確認するためにはより深い研究と統制された実験が必要です。
鳥の数と電力消費量の疑似相関について述べている研究論文をご存知でしたら是非教えていただきたいです。日本語と英語で色々と調べて範囲では、そのような調査研究は見当たりませんでした。「実際の研究に基づいて」と言ってはいますが、これが正しいかどうかが疑わしく見えます。
さて、chatGPTが正確な情報を出力しない場合があることや、分からないことを分からないと言えないことが課題であることは、すでに多くの方が主張されていることでしょう。今回の私の出力結果も、その主張通りの結果であると言えます。
勿論、無料のGPT3.5に正確性を求めるな、と言うのは妥当な意見でしょうが、それは本質ではないと考えます。GPTの精度は今後より向上するでしょうし、課金すれば実際の研究論文に基づいた根拠付きの出力も可能になるでしょう。しかし、どれだけGPTの精度が高まったとしても、最終的には人間によってその出力結果を採用するか否かが判断されます。
ましてや、企業レベルでは課金して高精度のGPTを使用するのが一般的かもしれませんが、一般消費者レベルであれば無料のサービスを使うのが一般的でしょう。そうなる場合、情報の受け手である一般消費者は出力結果の判断にリテラシーが求められます。特にその内容が事実であるか否か、について疑いを持てるか否かが重要です。
この情報リテラシーにおける問題は既にインターネット普及時点で提唱されている課題感ではありますが、今後GPTの利用により更に情報が混濁すれば、よりこの課題感は深刻になると考えられます。GPTは膨大な情報量の整理ではなく、膨大な情報量の拡大に寄与するとも考えられるためです。
以上、改めてchatGPTを使うにはコツがいるなぁ、と感じた雑感でした。