ChatGPTの「custom instructionsとトークン上限」について考えたこと
※情報の正確性について責任持てません(笑)
■その1:トークン上限を超える時のChatGPTの使い方について
前提:基本は、トークン上限が大きいモデルを使えば解決。一番楽。
条件1:トークン上限を超えた会話をする、かつ過去履歴は不要の場合
`custom instructions`に条件を記載するのはとても有用
※クイズ出題とか
条件2:トークン上限を超えた会話をする、かつ過去履歴が必要の場合。
Level1:会話中にcode interpreterを使って、ファイル保存指示:
会話の中で、記録の指示と、読み込みの指示を明示するのが一番動く。
※ファイル名も「会話中の明示的な指示(ファイル名固定)が必要、custom instructionsで固定指示でも、うまく動く」
※ファイル名をGPTに任せると、トークン上限を超えると、都度chatGPTが勝手にファイル名を改変して予想、生成するため。Level2:custom instructionsで”記録する項目”をファイル保存指示:
記録する具体的な項目(例:数字)を書いておいて、自動記録してもらう
未検証:だけど、多分いけそう。Level3:custom instructionsで変数として”記録する項目”をファイル保存指示:
記録する項目を初回会話で確認(変数の中身を確定)し、自動記録してもらう。
これ検証してたけど、ムズイ、そもそも必要かと思い始めてる。
■その2:トークン上限が来ることによる影響と対策のまとめ
ゴールの忘却: 最初の会話で指定したゴールを忘れます。これは`custom instructions`で直接ゴールを明記することで回避は可能。
ゴールの変数化とその再定義: `custom instructions`でゴールを変数として設定し、会話中にゴールを再定義した場合も、トークン上限に達してしまうとゴールを忘れてしまいます。これに対処するには、長期記憶(code interpreterを使ったファイル保存)にゴールを保存しておき、必要な時に再定義する方法が考えられます。変数に関しても同じですが、ムズイ。
コードの忘却: GPTが生成したコードや変数、ファイル名を忘れる可能性があります。ファイル名や変数は`custom instructions`に固定しておくことで回避できますが、完全な制御は難しいです。
長期記憶作業自体のやり取りでのトークン消費: 長期記憶の保存にはトークンが多く必要となります。記録するためのコードと記録文章自体も含まれるため、通常の2倍以上のトークンを消費します。コードの保存と参照が続くとさらに無駄が増えます。
長期記憶自体のサイズの制限: ここがトークン上限を超えると同じなので、全ての履歴を保存することは不可能です。
※あ、長期記憶ファイルを複数使って、マスターファイルからの条件分岐にすれば・・・ってどこまでテクニカルやねん。もうprompt flow使えって言われそう。
総じて、ポイントポイントで数字を集計したり、要点のみを章単位で記録するなどが、よさそうですが、汎用化は、やはり難しいです。
総じて、私がニッチな使い方の検証に身が入りがちなのが問題です。
要は、ChatGPT+custom instructions+ code interpreterでなんでもやろうとするのは違うようです。
■その3:そもそも、UI/UXの視点から考える?
会話のやり取りと、その改善の方向として、以下が考えられるけど、
ユーザの入力 → ChatGPT
ユーザ ← ChatGPTの出力
今、より考えているのは、「ChatGPTの出力」を改善する方向だけど、
「ユーザからChatGPTへの入力」の改善を促す方向もありだよね。
プロンプトで入力を促すのか
選択肢を提示して選んでもらうのか
もしくはそれは、入力マニュアルとして実現するのか。
使う人の属性、目的、習熟度に合わせたところ、って本来ChatGPTが勝手にやってくれるところでもあるので、それを組み合わせて…
■その4:そしてLLMとの向き合い方を考える
問題を解決するために、だんだんとプログラム的な記述がふえて、細かい条件や処理を考えていってしまうのですが、LLMとの向き合い方としては不十分だと思いました。
もっと、ChatGPT自身で解決できることは、「ふわっと」指示して投げるのが良いのではないだろうか。これはunlearningが必要かもです。
この記事が気に入ったらサポートをしてみませんか?