見出し画像
Photo by kakowara

【ChatGPT】メタ認知プロンプティング（MP）とは｜LLMsの理解能力を上げる

Masaki KANAI

※ このnoteは、以下の論文を参考にしてメタ認知プロンプティングについてまとめています。論文：Metacognitive Prompting Improves Understanding in Large Language Models

メタ認知とは

メタ認知とは、ざっくり言うと「自分の考え方や学び方について考えること」です。

例えば、テストで点数が取れなかったとき、ただ「難しかったから」と思うのではなく

  • どの部分が難しかったのか

  • どうやったらもっと理解できるのか

  • 次はどう勉強すればいいのか

…のように自分の学び方や考え方について考えることが「メタ認知」です。

メタ認知プロンプティング（MP）のメリット

メタ認知プロンプティングは、大規模言語モデル（LLMs）の理解能力を向上させることが期待されています。

なぜ理解能力が向上するのかというと、人間の内省的推論を模倣することができるからです。

「人間の内省的推論」については以下で解説します。

人間の内省的推論

内省的推論とは、自分の心や考えについて考察すること。具体的には、以下の４ステップです。

①自己認識
②自己分析
③自己評価
④自己反省

①自己認識：自分の感情や考え、信念についての認識。
例：「なぜ私はそのニュースを聞いて悲しくなったのだろうか？」と自問自答すること。

②自己分析：自分の行動や選択の背後にある理由を分析すること。
例：「なぜあのとき、あの選択をしたのだろう？」と考えること。

③自己評価：自分の行動や選択を評価し、それが良かったのか、悪かったのかを判断すること。
例：「今回のプレゼンはうまくいった。でも、次回はもっとデータを詳しく説明するべきだ」と自分を評価すること。

④自己反省：過去の経験や行動について振り返り、学びを得ること。
例：「前回の失敗を繰り返さないためには、どうすればいいか？」と考えること。

内省的推論は、自分自身の考えや行動について深く考えること。自分をよりよく理解し、成長するための手助けになります。

メタ認知プロンプティング（MP）の具体的な手法

メタ認知プロンプトでは、モデルにより深い内省を促すために以下のステップで進めます。

  1. テキストの解釈：
    まず、モデルは与えられた文章や情報をちゃんと読みます

  2. 初期の判断の形成：
    読んだ内容をもとに、モデルは最初の答えや考えを思いつきます

  3. 深い内省：
    モデルは、なぜその答えや考えを思いついたのか、背景や理由を深く考えます

  4. 最終的な判断の確認：
    モデルは、最初に思いついた答えが本当に正しいのか、もう一度確認します。そして、なぜその答えを選んだのかの理由も考えます

  5. 自己評価：
    最後に、モデルは自分の答えにどれくらい自信があるのかを評価します

メタ認知プロンプトと他のプロンプトとの違い

以下に「標準的なプロンプト」「Chain-of-Thought（CoT）プロンプト」と「メタ認知プロンプト」との比較を示します。

レストランのピザに関するレビューを分析するタスクを事例に、各プロンプトの違いを見ていきましょう。

標準的なプロンプト

✓プロンプト：
以下のレビューはポジティブですか、ネガティブですか？
レビュー：「このピザは生地がもっちりしていて、トッピングも豊富で美味しかった！」

✓モデルの応答：
「ポジティブ」

Chain-of-Thought（CoT）プロンプト

✓プロンプト：
1. レビューから主要な感情の言葉を特定してください
2. これらの言葉に基づいて、レビューはポジティブまたはネガティブですか？
レビュー：「このピザは生地がもっちりしていて、トッピングも豊富で美味しかった！」

✓モデルの応答：
「もっちり、豊富、美味しい」
「ポジティブ」

メタ認知プロンプト

✓プロンプト：
1. レビューを理解し、感情の初期の識別を行ってください
2. 確信が持てない場合は、再評価してください
3. 最終的な判断を確認し、その理由を提供してください
レビュー：「このピザは生地がもっちりしていて、トッピングも豊富で美味しかった！」

✓モデルの応答:
「ポジティブな感じがする」
「確信がある」
「レビューにはポジティブな言葉が多く含まれているため、ポジティブと判断します」

メタ認知プロンプトの例

引用元の論文を参考にメタ認知プロンプトを作成しましたので、以下を参考にしてみてください。

{input_text} = [ここにテーマやトピックを入力する]

## メタ認知プロンプトのステップ

1. **テキストの解釈**
   - モデルは与えられたテキスト`{input_text}`を解釈します。

2. **初期の判断の形成**
   - `{input_text}`をもとに、モデルは初期の判断を形成します。

3. **深い内省**
   - モデルはその答えの背後にある理由を深く探求します。

4. **最終的な判断の確認**
   - モデルは最終的な判断を確認し、その理由を提供します。

5. **自己評価**
   - モデルは自身の応答に対する自信を評価します。

参考：プロンプトつく〜るにも「メタ認知プロンプト」が公開されているので合わせて読んでおくと勉強になると思います。

メタ認知プロンプトを使う場面

メタ認知プロンプトは、単純な答えだけでなく、背後にある理由や考え方を深く探求することが重要となる場面でチカラを発揮します。

例えば、以下のようなテーマです。

1. 複雑な問題解決
例：技術的な問題、ビジネスの課題、社会的な問題など、多角的な視点や深い考察が必要な場面。

2. 意思決定のサポート
例：選択肢が多く、それぞれの選択肢のメリット・デメリットを考慮する必要がある場面。

3. クリエイティブなアイディアの生成
例：新しいプロジェクトのアイディア出しや、既存のアイディアの改善提案など。

他にもいろいろな使い道がありそうですが、もっと詳しく知りたい方は「メタ認知プロンプトの使い道を教えて」とChatGPTに訊いてみてください！

メタ認知プロンプトを使ってみた

今回メタ認知プロンプトを検証するために入力したトピックは「サイトの訪問者がコンテンツをより長く閲覧するための方法を考えてください」です。

{input_text} = [サイトの訪問者がコンテンツをより長く閲覧するための方法を考えてください
]

## メタ認知プロンプトのステップ

1. **テキストの解釈**
   - モデルは与えられたテキスト`{input_text}`を解釈します。

2. **初期の判断の形成**
   - `{input_text}`をもとに、モデルは初期の判断を形成します。

3. **深い内省**
   - モデルはその答えの背後にある理由を深く探求します。

4. **最終的な判断の確認**
   - モデルは最終的な判断を確認し、その理由を提供します。

5. **自己評価**
   - モデルは自身の応答に対する自信を評価します。

上記をChatGPTに入力すると…回答は、以下の通り。

1. テキストの解釈
与えられたテキスト{input_text}は「サイトの訪問者がコンテンツをより長く閲覧するための方法を考えてください」という内容です。これは、ウェブサイトの訪問者がコンテンツを長く読むための方法や戦略に関する情報を求めていることを示しています。

2. 初期の判断の形成
サイトの訪問者がコンテンツをより長く閲覧するための方法には、コンテンツの質の向上、ユーザーエクスペリエンスの最適化、関連コンテンツの推薦などが考えられます。

3. 深い内省
- コンテンツの質の向上: 訪問者が興味を持ち続けるためには、コンテンツは有益で魅力的でなければなりません。情報が正確で、読みやすく、視覚的に魅力的であることが重要です。

- ユーザーエクスペリエンスの最適化: サイトのデザインやナビゲーションが直感的でなければ、訪問者はすぐに離脱してしまう可能性があります。また、ページの読み込み速度やモバイル対応も考慮する必要があります。

- 関連コンテンツの推薦: 訪問者が読んでいるコンテンツに関連する記事や情報を推薦することで、彼らの興味を引き続き保持することができます。

4. 最終的な判断の確認
サイトの訪問者がコンテンツをより長く閲覧するための最も効果的な方法は、コンテンツの質を向上させること、ユーザーエクスペリエンスを最適化すること、そして関連するコンテンツを推薦することです。

5. 自己評価
この応答には自信があります。上記の提案は、多くのウェブサイトやオンラインプラットフォームで実際に採用されている方法に基づいています。

今回のインプットである「サイトの訪問者がコンテンツをより長く閲覧するための方法を考えてください」からは、以下の3つの内省を得ることができました。

  • コンテンツの質の向上

  • ユーザーエクスペリエンスの最適化

  • 関連コンテンツの推薦

これら3つの観点をさらにChatGPTに深掘りしてもらえば、もっと具体的な手段に落とし込んでいけそうですね。

引用元

論文：Metacognitive Prompting Improves Understanding in Large Language Models


この記事が気に入ったらサポートをしてみませんか？