【衝撃】生成AI 2大巨頭の仁義なき戦い！？ChatGPTとClaudeで意見交換させたら、凄いことになった件

2023年10月29日 22:38

こんばんは。shimayuzです。
今日も生成AIについてのネタを一つ紹介します。

みなさん、ChatGPT以外の自然言語生成系AIに触れたことはありますか？
Anthropic社というベンチャー企業のClaude-2というChat形式で利用可能なAIもなかなかに有用です。

この
Claude-2は、トークン数が100kと、ChatGPTの5倍以上のトークン数を誇り、長文のPromptにも忘れることなく反映することができます。
そのため、
長文エッセイや、台本、論文などを作成するのに有用です。
ただし、不適切な情報を強く排除したり、安全性を強く意識しているためか、添付文書の書き起こしなどをPromptで依頼すると、著作権が〜〜、と拒否されるため、「超模範的優等生」のようなAIです。

とはいえ、優秀なことはわかっていますので、はたしてChatGPTと議論させたら、どうなるのか？？

気になりませんか？

ということで、やってみました。

今回のテーマは、新たなフレームワークを作成してみようと以下の論文を参考にしました。
Chain of Thought (CoT) と呼ばれる手法は、いわゆるステップバイステップで、とPromptに付け加えることでより適切な情報をアウトプットしてくれる。
しかし、それでは不十分であり、この論文ではInferential Elimination Prompting (IEP) Framework という計画(planning)、推論(inferring)、排除(eliminating)のアルゴリズムを用いていくとより精度が高まる。みたいな内容です。
※詳細は下記原文を参考にしてみてください。

これを、ChatGPTでテンプレートとして使えるように構造化してもらいました。

構造化したIEPフレームワーク

{
  "IEPフレームワーク": {
    "計画": {
      "問題の定義": "variable_問題定義",
      "可能な答えのリストアップ": "variable_答えリスト",
      "各答えの妥当性の初期評価": "variable_初期評価"
    },
    "推論": {
      "前提の特定": "variable_前提",
      "前提と答えの関連性の確認": "variable_関連性確認",
      "追加情報の取得": "variable_追加情報"
    },
    "排除": {
      "矛盾する答えの特定": "variable_矛盾答え",
      "不適切な答えの排除": "variable_不適切答え排除",
      "残った答えの再評価": "variable_再評価"
    },
    "回答": {
      "最終的な答えの選択": "variable_最終答え",
      "理由や根拠の提供": "variable_理由提供",
      "ユーザーへのフィードバック": "variable_フィードバック"
    }
  }
}

うーん。
まぁ、良さそうですけど。
なんとなく使いにくそう。

ということで、ここで、出番。

Claude-2 !

このフォーマットをコピペし、ChatGPTにも投げます。

今回利用したのはChatGPT-4(V) ※Vは利用していません。

以下、ChatGPTの返答の一部。
=========================

IEP Framework for [xxx] は、ChatGPTからのより良い回答を目的として設計されています。以下に、提案されたフレームワークの中身を吟味し、批判的思考を持って考察した修正案を示します。

Input Stage
- User's Goal or Objective:
  - ユーザーが求める結果の形式を指定するだけでなく、背景情報や前提知識も入力できるようにすれば、より精確な回答を期待できます。たとえば、「前提情報」や「背景知識」のような項目を追加することを検討できます。
Planning Stage
- このステージは大切ですが、現在のフレームワークでは、どのようにサブトピックを生成するかが明確でない。具体的な方法やツール、資料の提案があると役立ちます。
Validation Stage
- サブトピックの妥当性と完全性のチェックは非常に重要ですが、情報の信頼性や正確性も確認するための項目「Accuracy check for [xxx]」を追加することをおすすめします。
Chain of Thought Stage
- タイトルを「Analysis Stage」や「Reasoning Stage」など、もう少し具体的なものに変更することを検討できます。
Content Creation Stage
- 「[xxx] research」が何を指すのかが明確でない。ここでのリサーチは、既存の知識の探索を意味するのか、それとも新しい情報の生成を意味するのかを明確にすると良いでしょう。
Feedback Stage
- ユーザーからのフィードバックを収集するのは良いアイディアですが、その後の改善アクションを明示するために、「Action Steps post-feedback」のような項目を追加するとよいでしょう。

修正後のフレームワークは次の通りです：

IEP Framework for [xxx] (object)

Input Stage (sub-object)
User's Goal or Objective (sub-sub-object)

- Provides specific objective for [xxx] (value)
- Provides desired outcome format for [xxx] (value)
- Provides background information or assumptions about [xxx] (value)

Planning Stage (sub-object)

- Identify resources for generating sub-topics for [xxx] (value)
- Generate sub-topics for [xxx] (value)
- Align sub-topics with [xxx] objective (value)

Validation Stage (sub-object)

- Check sub-topic relevance to [xxx] (value)
- Ensure sub-topic completeness for [xxx] (value)
- Accuracy check for [xxx] (value)
- Create sub-topic rating rubric (value)

Elimination Stage (sub-object)

- Set rating thresholds for sub-topics (value)
- Discard low-rated sub-topics (value)
- Prioritize high-rated sub-topics (value)

Analysis Stage (sub-object)

- Infer each sub-topic individually (value)

Content Creation Stage (sub-object)

- Refine sub-topics using available resources about [xxx] (value)
- Create [xxx] content outline (value)
- Draft deliverable on [xxx] (value)

Output Stage (sub-object)

- Define output format for [xxx] (value)
- Provide [xxx] output to user (value)

Feedback Stage (sub-object)

- Gather user feedback on [xxx] content (value)
- Incorporate [xxx] feedback into content (value)
- Action Steps post-feedback (value)

この修正案を適用することで、ChatGPTからの回答の質を向上させる目的により適合するフレームワークが得られると考えます。

=====================
こんな感じの問答をひたすら繰り返し、最終成果物を求めてみました。
※

そんなこんなで10回以上繰り返した結果が、こちら。

IEP Framework for Goal Achievement

Input Stage:

- Define the specific goal objective
- Specify the desired output format
- Provide context or assumptions
- Indicate urgency and importance
- Identify the intended audience

Planning Stage:

- Determine and evaluate knowledge sources
- Identify potential challenges or barriers
- Brainstorm and generate relevant sub-topics
- Align sub-topics with the goal objective

Validation Stage:

- Check the relevance of each sub-topic
- Ensure completeness of information
- Set criteria for sub-topic evaluation
- Create evaluation criteria for sub-topics

Elimination Stage:

- Set rating thresholds for sub-topics
- Eliminate low-priority sub-topics
- Prioritize high-priority sub-topics

Evaluation Stage:

- Assess the significance of each sub-topic

Content Creation Stage:

- Define the research methods and drafting process
- Research relevant information
- Organize and compile research findings
- Create a content outline
- Draft the deliverable

Output Stage:

- Define the output format
- Provide the output to the intended audience

Feedback Stage:

- Gather feedback on the output
- Analyze the feedback
- Incorporate the feedback
- List actions based on the feedback

Action & Achievement Stage:

- Create a timeline and metrics
- List steps to accomplish the goal
- Monitor and adjust progress
- Evaluate accomplishment against the goal

おお〜っ。

なんだか、凄いフレームワークが完成しました。

興味深かったのが、

Claude2の方が、フレームワークにすると比較的シンプルに出そうとする
GPT4もClaude2も共に英語の定義、言葉のニュアンスに厳格で、曖昧な定義をより明確にしようとする印象
どこまで続くのかと思いきや、訂正箇所がなくなると、満足そうに(笑)完成度が高くなったことを宣言する

といったことでした。

いかがでしたでしょうか？
今回はあえて論文の趣旨を外れないように、Promptを英語で出力しましたが、日本語でもできます。試しにGPT4に日本語に訳してもらってからフレームワークを作成したところもう少しシンプルにできそうだったので、こちらも今度やってみようと思います。

最後までお読みいただきありがとうございました！！

この記事が気に入ったらサポートをしてみませんか？