ChatGPTの「custom instructionsとトークン上限」について考えたこと

※情報の正確性について責任持てません(笑)

■その1:トークン上限を超える時のChatGPTの使い方について

前提:基本は、トークン上限が大きいモデルを使えば解決。一番楽。

条件1:トークン上限を超えた会話をする、かつ過去履歴は不要の場合

  • `custom instructions`に条件を記載するのはとても有用
    ※クイズ出題とか

条件2:トークン上限を超えた会話をする、かつ過去履歴が必要の場合。

  • Level1:会話中にcode interpreterを使って、ファイル保存指示:
    会話の中で、記録の指示と、読み込みの指示を明示するのが一番動く。
     ※ファイル名も「会話中の明示的な指示(ファイル名固定)が必要、custom instructionsで固定指示でも、うまく動く」
     ※ファイル名をGPTに任せると、トークン上限を超えると、都度chatGPTが勝手にファイル名を改変して予想、生成するため。

  • Level2:custom instructionsで”記録する項目”をファイル保存指示:
    記録する具体的な項目(例:数字)を書いておいて、自動記録してもらう
    未検証:だけど、多分いけそう。

  • Level3:custom instructionsで変数として”記録する項目”をファイル保存指示:
    記録する項目を初回会話で確認(変数の中身を確定)し、自動記録してもらう。
    これ検証してたけど、ムズイ、そもそも必要かと思い始めてる。

■その2:トークン上限が来ることによる影響と対策のまとめ

  1. ゴールの忘却: 最初の会話で指定したゴールを忘れます。これは`custom instructions`で直接ゴールを明記することで回避は可能。

  2. ゴールの変数化とその再定義: `custom instructions`でゴールを変数として設定し、会話中にゴールを再定義した場合も、トークン上限に達してしまうとゴールを忘れてしまいます。これに対処するには、長期記憶(code interpreterを使ったファイル保存)にゴールを保存しておき、必要な時に再定義する方法が考えられます。変数に関しても同じですが、ムズイ。

  3. コードの忘却: GPTが生成したコードや変数、ファイル名を忘れる可能性があります。ファイル名や変数は`custom instructions`に固定しておくことで回避できますが、完全な制御は難しいです。

  4. 長期記憶作業自体のやり取りでのトークン消費: 長期記憶の保存にはトークンが多く必要となります。記録するためのコードと記録文章自体も含まれるため、通常の2倍以上のトークンを消費します。コードの保存と参照が続くとさらに無駄が増えます。

  5. 長期記憶自体のサイズの制限: ここがトークン上限を超えると同じなので、全ての履歴を保存することは不可能です。
    ※あ、長期記憶ファイルを複数使って、マスターファイルからの条件分岐にすれば・・・ってどこまでテクニカルやねん。もうprompt flow使えって言われそう。

総じて、ポイントポイントで数字を集計したり、要点のみを章単位で記録するなどが、よさそうですが、汎用化は、やはり難しいです。

総じて、私がニッチな使い方の検証に身が入りがちなのが問題です。
要は、ChatGPT+custom instructions+ code interpreterでなんでもやろうとするのは違うようです。

■その3:そもそも、UI/UXの視点から考える?

会話のやり取りと、その改善の方向として、以下が考えられるけど、

  • ユーザの入力 → ChatGPT

  • ユーザ    ← ChatGPTの出力

今、より考えているのは、「ChatGPTの出力」を改善する方向だけど、
「ユーザからChatGPTへの入力」の改善を促す方向もありだよね。

  • プロンプトで入力を促すのか

  • 選択肢を提示して選んでもらうのか

  • もしくはそれは、入力マニュアルとして実現するのか。

  • 使う人の属性、目的、習熟度に合わせたところ、って本来ChatGPTが勝手にやってくれるところでもあるので、それを組み合わせて…

■その4:そしてLLMとの向き合い方を考える

  • 問題を解決するために、だんだんとプログラム的な記述がふえて、細かい条件や処理を考えていってしまうのですが、LLMとの向き合い方としては不十分だと思いました。

  • もっと、ChatGPT自身で解決できることは、「ふわっと」指示して投げるのが良いのではないだろうか。これはunlearningが必要かもです。

この記事が気に入ったらサポートをしてみませんか?