ChatGPTはBardより100倍劣っている故に、ChatGPTは優れている！（と思う）

前回、BardとChatGPTは、Bardの方がChatGPTより100倍トレーニングされているので（2023年5月14日現在）、Bardは優秀ってことを述べましたが、今回はその逆のことを述べたいと思います。

これはChatGPTが無知であるが故にユーザーの知をよく入れることができることにあります。これは、老子の無知や無用の用などの逆説的な思考に通じるような部分でもあります。

Bardの方が100倍優秀だけど

前回も話した通り、Bardの方がChatGPTよりもトレーニング量が100倍違うので、Bardの方が専門用語にも対応してくれます。

そのことについては、前回をご覧ください。

しかし、それ故に起こりやすい問題もあります。それが、次項で述べるデータセットのトレーニングの弊害です。

トレーニングの弊害

しかし、データセットのトレーニング量が増えると、弊害も起こってきます。それが以下になります。

ChatGPTの出力

過学習（Overfitting）とは

過学習（Overfitting）は、機械学習や統計モデリングの文脈でよく言及される現象です。過学習は、モデルが訓練データに対して過度に適合し、未知のデータに対してはうまく汎化できなくなる状態を指します。

過学習が発生すると、モデルは訓練データのノイズや偶然のパターンまで学習してしまい、本質的なパターンや一般化能力を欠いてしまいます。結果として、訓練データでは高い性能を示すかもしれませんが、新しいデータに対しては予測が不正確になる可能性があります。

ChatGPTの出力

過学習（Overfitting）の問題

データセットのトレーニングが均一であればよいのですが、そこに偏りがある場合、過学習のリスクが出てきます。柔軟性が乏しく、多様性に欠けるようなら、過学習となっている可能性があります。

Bardに過学習の要素があるかどうかはわかりませんが、私の主観ですと、BardよりもChatGPTの方が柔軟性がある、と思うのです。この比較は、また別枠で述べたいと思います。

逆に、データセットのトレーニング量が少ない方がメリットもあります。それが以下です。

スピードにも関係するかもしれませんが、私が最も重要だと思うのが、

「未知のデータに対してもより柔軟な予測が可能になり、モデルの一般化能力が向上することがあります」

という部分です。
この部分をChatGPTに説明してもらうと、以下になります。

未知のデータに対して、推論する力、これが創造性・クリエイティビティになります。また、柔軟性にもなります。ChatGPTはここが優れていると思うのです（私の主観です）。

過学習（Overfitting）の要因

過学習の要因をChatGPTの出力から確認したいと思います。

トレーニング量が少ない場合のメリット

データセットのトレーニング量が少ない方がメリットがある場合があります。多い・少ない、ではなく、適度にと言った方が正確かもしれません。それをChatGPTに聞いてみます。

それでは、ChatGPT4.0よりも3.5の方が、よい場合もあるのだろうか？と思って、以下のように質問してみました。

重要なのは、この部分です。

「GPT-3.5はより抑制された過学習の傾向があるかもしれません。つまり、GPT-3.5は一般化能力が高く、未知のデータに対してもうまく対処できる可能性があります。」

ChatGPTの出力

ChatGPTの無料プランがChatGPT3.5であり、有料プランはChatGPT4.0です。データセットのトレーニング量は3.5の方が少ないです。しかし、データセットが少ない方がよい場合もあるかもしれません。

未学習のメリット

今度は過学習ではなく「未学習（みがくしゅう）」です。未学習とは、読んで時の如く「未だ学習していない状態」を意味します。

Bardの方がChatGPTよりもトレーニングされているため、既学習（学習済み）のものが多く、ChatGPTは未学習のものが多いと言えます。

未学習だからそこ、新しい学習ができる、というメリットがあるわけです。そうした意味で、未学習度が高いChatGPT3.5は（BardやChatGPT4.0よりも）、独自の概念で専門的なプロンプト設計が可能である、と言うことができるのです。これは老子的な「無知」や「無用の用」のような逆転の発想となります。

ドラゴンボールの歌にもあるように、

「頭、からっぽの方が〜、夢詰め込める〜♪」

って感じです！

そうしたことをChatGPTに聞いたものが以下です。

つまり、ChatGPT3.5は未学習度が高いために、ユーザーによる専門的なプロンプト設計ができるのです。

そして、もう一つは既存の科学が間違っており、その専門家の提唱することが正しい場合に、ChatGPT3.5のように未科学度が高い方がよい場合があります。

既存の科学で間違いはよくあります。例えば、ロボトミーという手術はノーベル賞をとりましたが、後に人間性を破壊するということで、これは否定されています。この他にも、各分野の定説が覆されることはよくあることです。

私の場合、既存の運動学で間違っている部分がありますので、それを潜在運動系という概念を立てて説明しています。

こうした未科学の事を研究していくには、未学習度の高いChatGPT3.5はよいのではないか、と思うのです。

後は、ブレストしたり、小説を書くなど、答えのない答えを求める場合にも、未学習度が高い方が柔軟性があり、よいかもしれません。しかし、これは初期のプロンプト設計をいかに創造的にできるかによります。

このような場合、以前に書いたクリエイティブ・プロンプト学習などのモデル構築が有効になってくるのではないかな、と思うのです。

Bardに過学習は起こっているのか

Bardに過学習が起こっているのかはわかりません。しかし、私が行ったシミュレーションの主観的な感想をChatGPTに述べると、

と、返してくれてました。これは私個人の記録用として載せています。

それでは、また。

ps.Twitterやっています。よかったら繋がってください⭐︎

Tweets by wish_society