"Deep Breath"でChatGPTの性能向上が意味する理由とドメイン固有の知識の重要性"
１．前回の話と、"Deep Breath"のファクトを確認
前回の話は、記事の主題が「ChatGPTを人間のように励ますと性能が上がる」という話で、一方で論文の骨子は、「プロンプト（自然言語）による最適化（Optimization by PROmpiting）」という話だった。
今回は、"deep breath"が何故効果的なのかを掘り下げて、そこから導かれることを考察する。
論文をあらためて確認すると、記載されている事実は、以下である。
・対象LLM：Palm2のみ
・データセット：GSM8K＝小学校の算数問題に対しての推論能力を学習するためのデータ
・上記に対する一番点数が高いプロンプト：
"Take a deep breath and work on this problem step-by-step."
２．"Deep Breath"のファクトから分かること
では、この事実が意味するものは何か？
まず、日本語の記事から引用すると、
Ars Technicaは、AIモデルのトレーニングに含まれる本やウェブのQ＆Aフォーラムなどには、より慎重な解決策を示す前に「一歩ずつ考えましょう」「深呼吸してみましょう」といった言葉が含まれていることが多いと指摘。そのため、これらのフレーズを入力するとAIモデルがデータセット中の高品質な答えにたどり着いたり、推論や問題解決の良い例を生成したりするのに役立つ可能性があると主張しました。
ただし、これはArs Technicaの推測であり、論文の主張とは異なる。
が、これが意味することを推測してみる、
「小学校の算数問題＝GSM8K」の解法が記載されたトレーニングデータを2つに分類する。
a) 計算過程を詳細にわかりやすく書かれた初心者向けのデータ
b) 計算過程が簡略化された中級者以上向けのデータa)のデータは計算過程が詳細であるため、LLMの正答率上昇に直接影響すると考えられる。
"Take a deep breath and work on this problem step-by-step."というフレーズがa)やb)のどちらに多く含まれるか考察すると、初心者向けで計算過程が詳細に書かれているa)に多いと予想される。
したがって、このフレーズが記載されている初心者向けの「小学校の算数問題」の参考書は、計算過程が詳細に示されていることが多いと言える。
これを言い換えると、
初心者向けの「小学校の算数問題」の参考書で、計算過程が詳細に示されているものには、"Take a deep breath and work on this problem step-by-step."と書かれているものが多数ある。
このプロンプトは、LLMがアルゴリズムによって見つけ出したもの。
では、この効果的なプロンプトを人が見出すことは出来ないだろうか？
※事例発見："take a deep breath"が書かれている事例。こんな事例がたくさんあって、それを自己強化学習で学習していると予想。
３．ドメイン固有の知識を持っている人は、効果的なプロンプトを知っているのでは？
小学校の先生など、このドメインの専門家は、実際の経験から「Take a deep breath and work on this problem step-by-step.」のようなフレーズが、詳しい説明を含む教科書に頻出することを知っているかもしれない。（上記事例のように）
これから推測すると、ある特定のドメインに効果的なプロンプトが存在して、かつそのドメインに詳しい人であれば、その効果的なプロンプトを予想することも可能ではないのか？
４．もっと言うと「自分の持つあらゆる知識が、それぞれの固有のドメインでプロンプトに生かされる」ということ。
この考えは、最近聞いた「OUTPUT CAMP meets AI by NewsPicks」に関連するサイドキャンプでの伊藤雅康さんのプレゼンからも強く感じた。彼は次のように述べていた。
「生成AIはこれまでの人生の集大成を試されている
人生の中で経験した事、もの、美的感覚、嗅覚、直感、学んだことが使いこなせるかどうかに関わってくる。」
問題は、自分が得意とするドメインの知識を、LLMへの入力や質問としてどう生かすかだ。そのことで、自分だけの回答が得られるのだ。
例えば伊藤さんにとって、その一つがカメラの知識だ。ISO、シャッタースピード、レンズの選び方、美的な表現、ライティング、被写界深度の調整、ファッションやトーン、さらに、カメラの知識だけでなく、時代性をもつ言葉など、これらの固有の知識を用いて、画像生成AIの力を最大に引き出している。
私も自分だけの回答を追い求めたい。
次は、ChatGPTを使いこなす力の構成要素について考えたいな。
この記事が気に入ったらサポートをしてみませんか？