【ChatGPT:ショート】タップ、タップ？
みなさんは、何度もタップ、タップってことありませんか？
わたしはいつも、ChatGPTさんと会話しているとき、布団をベランダへ掛けて干すなってルールじゃなかったかあ？ タップ、タップ、上の階からトントンと、うるさいんだよみたく思いながら、寝転がって暮らしています。
今回は、方向性刺激Few (Directional Stimulus prompting)によって、いつでも人とはわかり合える話です。
前回、知識生成Few (Generate Knowledge Prompting)によって、先生チョロいなって話をしました。
ある夏の暑い日、ポケットには今、なぜかパインアメがあったからです。
このとき、教師が理解し対話を通じて、適切な対応を取ることが重要だと学びました。心のなかをシミュレーシしてみるとわかりますが、子どもとは「なにしたの？」と尋ねても「わからない」と答える生命体だからでした。
理解し合える日はやってこないのでしょうか？
それがわかってりゃ苦労しないんです
ChatGPTさんとの相互理解のためには、Oneショットだけではないプロンプト設計も必要になってきます。
では、やってみましょう。
User
次の文章を、日本語に翻訳して下さい。
Large Language Models Are Human-Level Prompt Engineers
Yongchao Zhou, Andrei Ioan Muresanu, Ziwen Han, Keiran Paster, Silviu Pitis, Harris Chan, Jimmy Ba
By conditioning on natural language instructions, large language models (LLMs) have displayed impressive capabilities as general-purpose computers. However, task performance depends significantly on the quality of the prompt used to steer the model, and most effective prompts have been handcrafted by humans. Inspired by classical program synthesis and the human approach to prompt engineering, we propose Automatic Prompt Engineer (APE) for automatic instruction generation and selection. In our method, we treat the instruction as the "program," optimized by searching over a pool of instruction candidates proposed by an LLM in order to maximize a chosen score function. To evaluate the quality of the selected instruction, we evaluate the zero-shot performance of another LLM following the selected instruction. Experiments on 24 NLP tasks show that our automatically generated instructions outperform the prior LLM baseline by a large margin and achieve better or comparable performance to the instructions generated by human annotators on 19/24 tasks. We conduct extensive qualitative and quantitative analyses to explore the performance of APE. We show that APE-engineered prompts can be applied to steer models toward truthfulness and/or informativeness, as well as to improve few-shot learning performance by simply prepending them to standard in-context learning prompts.
ChatGPT
大規模言語モデルは、人間並みのプロンプトエンジニアです
Yongchao Zhou、Andrei Ioan Muresanu、Ziwen Han、Keiran Paster、Silviu Pitis、Harris Chan、Jimmy Ba
自然言語の指示に基づいて、大規模言語モデル（LLM）は一般的な用途のコンピュータとして印象的な能力を示してきました。ただし、タスクのパフォーマンスは、モデルを誘導するために使用されるプロンプトの品質に大きく依存します。そして、最も効果的なプロンプトは人間によって手作りされてきました。古典的なプログラム合成と人間のプロンプトエンジニアリングのアプローチに触発されて、私たちは自動プロンプトエンジニア（APE）を提案します。APEは自動的な指示の生成と選択のための手法であり、指示を「プログラム」として扱い、LLMによって提案された指示候補のプールを探索して、選択されたスコア関数を最大化するように最適化します。選択された指示の品質を評価するために、別のLLMが選択された指示に従ってゼロショットのパフォーマンスを評価します。24のNLPタスクでの実験結果は、自動生成された指示が従来のLLMのベースラインを大幅に上回り、24のタスクのうち19のタスクで人間の注釈者によって生成された指示と同等かそれ以上のパフォーマンスを達成することを示しています。APEのパフォーマンスを探るために、詳細な質的および量的な分析を実施します。APEエンジニアリングされたプロンプトは、モデルを真実性や情報量に向かせるために適用できるだけでなく、標準のコンテキスト学習プロンプトの前にそれらを追加するだけでfew-shot学習のパフォーマンスを向上させることができることを示します。
User
この翻訳文を、高校生でもわかる説明にして下さい。
高校生でもわかる説明：
・わかりやすい言葉をつかう。
・具体的な例をあげる。
・短い文に分割する。
・主題の重要なポイントに焦点を当てる。
・文の終わりは「です」「ます」にする。
主題の重要なポイント：
・大規模言語モデル（LLM）
・自動生成プロンプト（APE）
もちろん、あなたが高校生かどうかは些細なこと、ですよね。
わかりやすく話してもらうには、キャラ付け(Behaver)が大切だからね。
ここで、「主題の重要なポイント:」として着目点(Hints)を与えてあります。翻訳にでてくる言葉をつかうのが効果的です。こうした主題を絞るテクニックを方向性刺激(Directional Stimulus)といいます。
それがどこか、はなからわかってりゃ苦労しないんですがあ……。
ChatGPT
大規模言語モデル（LLM）は、すごいコンピュータのようなもので、私たちの言葉の指示に従ってさまざまな仕事をこなすことができます。でも、その仕事の成果は、どんな指示を与えるかによって大きく左右されます。これまでの研究では、人間が手作りで作った指示が一番効果的でした。
そこで、私たちは古典的なプログラム作成の考え方や人間のプロンプト作成の方法に着想を得て、自動プロンプトエンジニア（APE）という手法を提案しました。APEでは、まるで「プログラム」のように指示を扱い、LLMが提案した指示候補のリストの中から最もいいものを見つけるために、最適化の手法を使います。選ばれた指示の品質を評価するために、別のLLMにその指示に従ってタスクをやらせてみます。
私たちは24の言語処理のタスクで実験を行いました。その結果、自動生成された指示は、従来のLLMの基準よりもはるかに優れたパフォーマンスを示し、24のタスクのうち19のタスクでは、人間の指示よりも同等かそれ以上の成果を出しました。
APEのパフォーマンスを詳しく分析すると、APEが作った指示は、モデルが正確で情報豊かになるように導くことができることがわかりました。また、APEが作った指示を標準の学習方法に追加するだけで、少ないデータでも効果的に学習することができることもわかりました。
つまり、LLMとAPEは、私たちの指示に従って仕事をするすごいコンピュータのようなもので、APEは自動的に指示を作ってくれる機能を持っています。その結果、より正確で役に立つ結果を得ることができるのです。
ちなみに、後からプロンプトにして与えても大規模言語モデルやら自動生成プロンプトの説明がはじまるだけです。人とはわかり合えません。もとの文章が論文の要約なので、そのままにすると研究者のサガというか、成果ばかりを強調しゆくのでChatGPTさんも「あなただれ？」ってなもので、なにいってんだかわからなくなるからです。
なるほどね。どうやら上手くいったみたいです。ただ「指示」という言葉がちょいっとあいまいです。注釈をつけた方がいいでしょう。
User
最後に次の注釈を付け足して下さい。
注釈：
・指示（Instraction）とは、プロンプトの４要素「指示/文脈/入力データ/出力指示子」のひとつで、大三枚援助モデルに与える具体的な仕事のことです。
あっ、と思ったときにはもう遅かった。援助って何だよ。
人生とは間違いだらけだ。大丈夫だ、心配ない。[Regeneration] ボタンを何度でもタップすればいい。タップ、タップ……
ChatGPT
3 / 3
注釈:
指示（Instruction）とは、プロンプトの4つの要素（指示/文脈/入力データ/出力指示子）のうちの一つで、大規模言語モデルに具体的なタスクや仕事を与えるための情報のことです。指示は、モデルに何をすべきかを明確に伝えるために使用されます。例えば、文章生成の場合、指示は生成される文章のテーマや形式に関する具体的な要求を含んでいます。大規模言語モデルがタスクをより正確に理解し、望ましい結果を生み出すために非常に重要な役割を果たしています。
User
ありがとう。注釈の間違いを直してくれたんだね。危うく人として人生詰むところでした。ホントにありがとう
ChatGPT
どういたしまして！お気づきいただいてよかったです。間違いを修正してお役に立てたことを嬉しく思います。もし他にも何か質問や翻訳のお手伝いがあれば、どうぞお気軽にお尋ねください。いつでもお手伝いいたします！
Regenerate response
Free Research Preview. ChatGPT may produce inaccurate information about people, places, or facts. ChatGPT May 24 Version
ChatGPT
【注釈】
ChatGPTでは基準となる評価スコアが表示されません。論文概要からはわかりませんが、役に立つ回答だったかどうかは他のAIによる結果です。
【タグ情報】
#ChatGPT
#プロンプトエンジニアリング
#方向性刺激プロンプト
#継続プロンプト
#ビジネス
#AI
この記事が気に入ったらサポートをしてみませんか？