解なき文章題をAIに解かせたら

今話題のChatGPT。質問に答えてくれるAIで、それなりに対話形式で話ができる。また、ちょっとした挨拶や決まったシチュエーションなら、質問でなくても、一応識別して反応してくれる。

このAI---名前を聞いたが、「ない」の一点張りなので、呼称に非常に困るのだが---答えは、正しいこともあれば、間違っていることもあるので、そのまま鵜呑みすることはできないが、まあ、ある程度のものは、「正しく」答えてくれる。

そんなChatGPTに、ちょっと意地悪な問題を出してみた。

🐙：公園で5人、子供が遊んでいました。3人やって来ました。その後2人帰りました。公園に大人は、何人いるでしょう？

AIの答え。

文章からは、大人についての情報がありませんので、答えることはできません。

なかなか賢い。さて、これを更に少しいじってみた。

🐙：公園で子供が3人、大人が2人遊んでいました。2人帰りました。公園に大人は、何人いるでしょう？

それに対する答え。

公園で遊んでいる大人の人数は、2人 - 2人 = 0人です。

おっと。間違いを指摘してみた。

🐙：2人帰りましたが、大人か子供かの情報がありません。ですので、厳密には、「分からない」が答えになると思います

すると･･･

公園で遊んでいる大人の人数は、2人 - 2人 = 0人です。少し前にもお伺いしましたが、文章からは大人か子供かの情報がありませんので、厳密には「分からない」が答えになります。

なかなかに頑固。ただ、その後ろにこちらの指摘を追加することで、上手く「逃げ」ている。

ちなみに、時間をおいても、この答えは変わらないが、別のセッションで同じ問題を出すと、こちらから追加した情報はなく、相変わらず2人 - 2人 = 0人だとだけ主張する状態になる。つまり･･･「その時だけ、相手に合わせたふりをしている」^^;;。いやまあ、そうじゃないかなー、とは、思ったけれども。

ちなみに、「明らかにおかしく見える」場合は、一応、「違う」と言ってくる。

たとえば、1+1=10である、と言うと違う、と言う（2進数ならこの式は、正しい。そして2進数なら、と限定すれば、正しいことに同意してくる）。

この辺りは、あるいは、後で「学習」させるのかもしれない。その場でユーザーが入力したものをそのまま「学習」させるのは、諸々危険に過ぎるので･･･

ここで、「人間の場合、どうなんだろう？」と、ふと思ったので、手っ取り早く、子供たちに聞いてみた。

息子（小6）は、「帰った二人」がどっち（大人なのか子供なのか）を聞いてきた。それが分からない場合は、「答えは、分からない」と正解。

面白いのが、娘（小3）。

娘の出した答えは、AIとは真逆の2人。AIは、帰ったのは、大人だと判断したのに対し、娘は、子供だと判断した。

「子供の方が早く帰ると思った」

･･･なんとも人間らしい判断で、笑ってしまったのだが、ここに人とAIとの差が、一定あるように思う（そして、こういう判断の仕方をするから、算数のテストで諸々間違えるわけだが）。

算数や数学の問題を解く場合、「問題文に出て来ない要素は、常識等を援用して勝手に決めてはならない」という暗黙の了解があり、私たちは、多くの場合、そうするよう訓練を受ける（この暗黙の了解が上手く身についていないのが原因で、算数の文章題がうまく解けない子供たちが一定数いる）。

その一方で、現実に対面する時、私たちは、「欠けている情報」がある時、それまでの経験等々から「全体に照らし合わせて最も可能性が高そうなもの」で、補って対応する。あるいは、不足している、と判断した場合、可能であれば、相手に「質問をすることで、欠けを満たす」行動をする。

将来的には、AIも「欠けを満たす」ようになるのかもしれない。ただ、自らの経験に照らし合わせて補う行動は、さあ、どうだろう？そもそも、それを行うことは、AIの判断を曖昧にし、確実性を下げるものとなる。やってやれなくはなさそうだが、そうする意味は、薄いのではないだろうか。

･･･少々とりとめも無い話になってしまった。ちょっと面白かったので、ここに記録しておくことにする。

（なお、この記事のキャッチ画像は、AIのStable Diffusionに描いてもらったものである）